JP6867661B1 - Information processing methods, computer programs and information processing equipment - Google Patents

Information processing methods, computer programs and information processing equipment Download PDF

Info

Publication number
JP6867661B1
JP6867661B1 JP2020136750A JP2020136750A JP6867661B1 JP 6867661 B1 JP6867661 B1 JP 6867661B1 JP 2020136750 A JP2020136750 A JP 2020136750A JP 2020136750 A JP2020136750 A JP 2020136750A JP 6867661 B1 JP6867661 B1 JP 6867661B1
Authority
JP
Japan
Prior art keywords
user
work
search
information
company
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020136750A
Other languages
Japanese (ja)
Other versions
JP2022032694A (en
Inventor
沙織 大字
沙織 大字
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2020136750A priority Critical patent/JP6867661B1/en
Application granted granted Critical
Publication of JP6867661B1 publication Critical patent/JP6867661B1/en
Publication of JP2022032694A publication Critical patent/JP2022032694A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】検索サービスの精度を向上することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】情報処理方法は、ユーザから検索のためのキーワードの入力を受け付け、当該キーワードに応じた一又は複数の検索対象に関する情報を出力する検索サービスを提供する情報処理装置が、キーワード及び検索対象を対応付ける作業の実施をユーザに依頼し、ユーザから作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、作業を実施したユーザに対して特典を付与する。特典は、検索サービスを所定期間利用する権利であってよい。情報処理装置は、所定期間が経過する前に作業の実施をユーザに依頼してもよい。【選択図】図10PROBLEM TO BE SOLVED: To provide an information processing method, a computer program and an information processing device which can be expected to improve the accuracy of a search service. An information processing method is such that an information processing device that provides a search service that accepts input of a keyword for a search from a user and outputs information about one or a plurality of search targets corresponding to the keyword performs the keyword and search. The user is requested to perform the work of associating the target, and as a result of the work, the information associated with the keyword and the search target is acquired from the user, and the user who has performed the work is given a privilege. The privilege may be the right to use the search service for a predetermined period of time. The information processing device may request the user to perform the work before the predetermined period elapses. [Selection diagram] FIG. 10

Description

本発明は、検索サービスを提供するための情報処理方法、コンピュータプログラム及び情報処理装置に関する。 The present invention relates to an information processing method, a computer program, and an information processing device for providing a search service.

従来、ユーザが入力したキーワードに関連する情報を検索し、検索結果をユーザに提供する検索サービスが広く普及している。例えば特許文献1においては、クライアントがサーバに提供したキーワードに対応するグループキーワードをデータベースから探し、キーワードに該当する検索情報と共にグループキーワード及びキーワードを含む検索結果ページをサーバがクライアントに提供する検索システムが提案されている。この検索システムでは、クライアントが検索結果ページ上でキーワード又はグループキーワードを選択した場合、サーバは選択されたキーワード又はグループキーワードに対応するネットワークアドレスに該当するウェブページにクライアントを接続させる。 Conventionally, a search service that searches for information related to a keyword entered by a user and provides the search result to the user has become widespread. For example, in Patent Document 1, a search system in which a search system searches a database for a group keyword corresponding to a keyword provided by a client to a server, and the server provides the client with a search result page containing the group keyword and the keyword together with the search information corresponding to the keyword. Proposed. In this search system, when the client selects a keyword or group keyword on the search result page, the server connects the client to the web page corresponding to the network address corresponding to the selected keyword or group keyword.

特開2005−503614号公報Japanese Unexamined Patent Publication No. 2005-503614

近年、検索サービスの精度向上等を目的として、AI(Artificial Intelligence)が利用され始めている。AIを用いる検索サービスでは、例えばニューラルネットワークの学習モデルを用い、検索に用いられ得るキーワード等をこの学習モデルに予め学習させておく必要がある。学習モデルの学習を繰り返し行っていくことによって、検索の精度向上が期待できる。しかしながら、学習モデルの学習処理には、例えばキーワード及び検索対象を対応付けた学習用のデータを作成する必要があり、多大な労力が必要である。 In recent years, AI (Artificial Intelligence) has begun to be used for the purpose of improving the accuracy of search services. In a search service using AI, for example, it is necessary to use a learning model of a neural network and to train this learning model in advance for keywords and the like that can be used for the search. By repeating the learning of the learning model, the accuracy of the search can be expected to improve. However, in the learning process of the learning model, for example, it is necessary to create learning data in which keywords and search targets are associated with each other, which requires a great deal of labor.

本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、検索サービスの精度を向上することが期待できる情報処理方法、コンピュータプログラム及び情報処理装置を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an information processing method, a computer program, and an information processing device which can be expected to improve the accuracy of a search service. is there.

一実施形態に係る情報処理方法は、情報処理装置が、検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する。 In the information processing method according to one embodiment, the information processing apparatus sends an execution request for a work of associating a search keyword and a search target related to the search service to a user of the search service, and the user sends the result of the work. As a result, the information associated with the keyword and the search target is acquired, and the user who has performed the work is given the right to use the search service for a predetermined period of time.

一実施形態による場合は、検索サービスの精度を向上することが期待できる。 In the case of one embodiment, it can be expected that the accuracy of the search service will be improved.

本実施の形態に係る情報処理システムの概要を説明するための模式図である。It is a schematic diagram for demonstrating the outline of the information processing system which concerns on this Embodiment. 本実施の形態に係るサーバ装置の構成を示すブロック図である。It is a block diagram which shows the structure of the server apparatus which concerns on this embodiment. 学習モデルの一構成例を示す模式図である。It is a schematic diagram which shows one configuration example of a learning model. 企業DBの一構成例を示す模式図である。It is a schematic diagram which shows one configuration example of a company DB. ユーザDBの一構成例を示す模式図である。It is a schematic diagram which shows one configuration example of a user DB. アノテーション情報DBの一構成例を示す模式図である。It is a schematic diagram which shows one configuration example of the annotation information DB. 本実施の形態に係る端末装置の構成を示すブロック図である。It is a block diagram which shows the structure of the terminal apparatus which concerns on this embodiment. 本実施の形態に係る端末装置が行う検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the search process performed by the terminal apparatus which concerns on this Embodiment. 本実施の形態に係るサーバ装置が行う検索処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the search process performed by the server apparatus which concerns on this Embodiment. アノテーション画面の一例を示す模式図である。It is a schematic diagram which shows an example of the annotation screen. 本実施の形態に係るサーバ装置が行うアノテーション処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of annotation processing performed by the server apparatus which concerns on this Embodiment. 本実施の形態に係る端末装置が行うアノテーション処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of annotation processing performed by the terminal apparatus which concerns on this Embodiment.

本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 A specific example of the information processing system according to the embodiment of the present invention will be described below with reference to the drawings. It should be noted that the present invention is not limited to these examples, and is indicated by the scope of claims, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.

<システム概要>
図1は、本実施の形態に係る情報処理システムの概要を説明するための模式図である。本実施の形態に係る情報処理システムは、企業情報の検索サービスを提供するシステムである。ユーザは、端末装置3に表示された検索画面等において、企業に関連するキーワードの入力を行う。端末装置3はユーザが入力したキーワードを、検索サービスを提供するサーバ装置(情報処理装置)1へ送信する(矢印101参照)。サーバ装置1は、企業情報を記憶したデータベースを備えており、ユーザが入力したキーワードを端末装置3から取得し、取得したキーワードに対応する企業をデータベースから検索して、検索により得られた企業情報を端末装置3へ送信する(矢印102参照)。端末装置3はサーバ装置1からの企業情報を受信して表示し、キーワードを入力したユーザに対応する企業情報を提示する。
<System overview>
FIG. 1 is a schematic diagram for explaining an outline of an information processing system according to the present embodiment. The information processing system according to the present embodiment is a system that provides a search service for corporate information. The user inputs a keyword related to the company on the search screen or the like displayed on the terminal device 3. The terminal device 3 transmits the keyword input by the user to the server device (information processing device) 1 that provides the search service (see arrow 101). The server device 1 includes a database that stores company information, acquires keywords entered by the user from the terminal device 3, searches the database for companies corresponding to the acquired keywords, and obtains company information by the search. Is transmitted to the terminal device 3 (see arrow 102). The terminal device 3 receives and displays the company information from the server device 1, and presents the company information corresponding to the user who has input the keyword.

本実施の形態に係るサーバ装置1は、ユーザにより入力されたキーワードに応じた企業の検索処理を、いわゆるAIを利用して行っている。詳細は後述するが、本実施の形態に係るサーバ装置1が備えるAIは、例えばニューラルネットワークの構成が採用された学習モデルであり、キーワードに対する適切な企業を決定する処理に用いられる。学習モデルは、サーバ装置1又は別の装置において予め学習処理がなされ、学習済の学習モデルがサーバ装置1に記憶されている。学習モデルは、学習処理を繰り返し行う(再学習を行う)ことによって精度向上(即ち、キーワードの入力に対してより適切な企業情報を出力すること)が期待できるため、本実施の形態に係るサーバ装置1は、学習モデルの再学習に用いるデータを収集する処理を行う。 The server device 1 according to the present embodiment uses so-called AI to perform a company search process according to a keyword input by the user. Although details will be described later, the AI included in the server device 1 according to the present embodiment is, for example, a learning model in which a neural network configuration is adopted, and is used in a process of determining an appropriate company for a keyword. The learning model is previously trained in the server device 1 or another device, and the learned learning model is stored in the server device 1. Since the learning model can be expected to improve accuracy (that is, output more appropriate company information in response to keyword input) by repeating the learning process (re-learning), the server according to the present embodiment. The device 1 performs a process of collecting data used for re-learning the learning model.

学習モデルの学習処理に用いるデータ、いわゆる教師データを作成する処理は、「アノテーション」と呼ばれる。本実施の形態に係る情報処理システムでは、検索サービスを利用するユーザ(検索サービスのユーザ)の端末装置3にこのアノテーションの作業の実施依頼を送信する(矢印103参照)。この依頼に応じて端末装置3は、ユーザによるアノテーションの作業を実施してその結果を取得し、取得したアノテーション結果をサーバ装置1へ送信する(矢印104参照)。サーバ装置1は、ユーザがアノテーションの作業を行った結果を端末装置3から取得して記憶する。サーバ装置1が記憶したアノテーション結果を用いて、サーバ装置1又は別の装置が学習モデルの再学習処理を行うことができる。本実施の形態においてユーザに依頼するアノテーションの作業は、1つの企業(検索対象)に対して一又は複数のキーワード(検索用のキーワード)を対応付ける作業とするが、これは一例である。このアノテーションの作業を単に作業ともいい、ユーザによりアノテーションの作業を行った結果が、アノテーションの作業を行った結果に相当する。 The process of creating data used for the learning process of the learning model, so-called teacher data, is called "annotation". In the information processing system according to the present embodiment, a request for executing the work of this annotation is transmitted to the terminal device 3 of the user (user of the search service) who uses the search service (see arrow 103). In response to this request, the terminal device 3 performs the annotation work by the user, acquires the result, and transmits the acquired annotation result to the server device 1 (see arrow 104). The server device 1 acquires and stores the result of the annotation work performed by the user from the terminal device 3. Using the annotation result stored in the server device 1, the server device 1 or another device can perform the re-learning process of the learning model. In the present embodiment, the annotation work requested to the user is the work of associating one or more keywords (search keywords) with one company (search target), but this is an example. This annotation work is also simply called work, and the result of the annotation work performed by the user corresponds to the result of the annotation work.

また本実施の形態に係る情報処理システムがユーザに対して提供する検索サービスは、例えば1ヶ月又は1年等の所定期間毎に所定額の利用料金を支払う必要がある有料のサービスである。ただし、上記のアノテーションの作業を実施したユーザに対してサーバ装置1は、利用料金の支払いを免除し、所定期間の検索サービスを利用する権利を特典として付与する(矢印105参照)。これにより本実施の形態に係る情報処理システムは、ユーザによるアノテーション作業の実施を促して、学習モデルの学習処理に必要なデータを蓄積し、学習モデルの再学習処理を繰り返し行うことにより、検索サービスの精度を向上することが期待できる。 Further, the search service provided to the user by the information processing system according to the present embodiment is a paid service that requires a predetermined amount of usage fee to be paid for each predetermined period such as one month or one year. However, the server device 1 exempts the user who has performed the above annotation work from paying the usage fee, and grants the right to use the search service for a predetermined period as a privilege (see arrow 105). As a result, the information processing system according to the present embodiment is a search service by encouraging the user to perform annotation work, accumulating data necessary for the learning process of the learning model, and repeatedly performing the re-learning process of the learning model. It can be expected to improve the accuracy of.

なお本実施の形態においてユーザは、予め検索サービスの利用登録を行った利用者であり、必ずしも人(自然人)でなくてよく、企業又は組織等の法人であってもよい。また本実施の形態に係る情報処理システムが提供する検索サービスは、検索対象として企業情報を扱うものとするが、これに限るものではなく、検索対象は企業情報以外の種々の情報であってよい。また本実施の形態において企業には、例えば会社、組織、組合、事業体、団体及び法人等を含み得る。また本実施の形態においては、アノテーション作業の実施に対してユーザに与える特典を、検索サービスを利用する権利を付与することとしたが、これに限るものではなく、種々の特典をユーザに付与してよい。 In the present embodiment, the user is a user who has registered the use of the search service in advance, and is not necessarily a person (natural person), and may be a corporation such as a company or an organization. Further, the search service provided by the information processing system according to the present embodiment handles company information as a search target, but the search target is not limited to this, and the search target may be various information other than the company information. .. Further, in the present embodiment, the enterprise may include, for example, a company, an organization, a partnership, an entity, an organization, a corporation, or the like. Further, in the present embodiment, the right to use the search service is given to the privilege given to the user for the execution of the annotation work, but the present invention is not limited to this, and various benefits are given to the user. You can do it.

<装置構成>
図2は、本実施の形態に係るサーバ装置1の構成を示すブロック図である。本実施の形態に係るサーバ装置1は、処理部11、記憶部(ストレージ)12及び通信部(トランシーバ)13等を備えて構成されている。なお本実施の形態においては、1つのサーバ装置1にて処理が行われるものとして説明を行うが、複数のサーバ装置1が分散して処理を行ってもよい。
<Device configuration>
FIG. 2 is a block diagram showing a configuration of the server device 1 according to the present embodiment. The server device 1 according to the present embodiment includes a processing unit 11, a storage unit (storage) 12, a communication unit (transceiver) 13, and the like. In the present embodiment, it is assumed that the processing is performed by one server device 1, but a plurality of server devices 1 may be distributed to perform the processing.

処理部11は、CPU(Central Processing Unit)又はMPU(Micro-Processing Unit)等の演算処理装置、ROM(Read Only Memory)、及び、RAM(Random Access Memory)等を用いて構成されている。処理部11は、記憶部12に記憶されたサーバプログラム12aを読み出して実行することにより、ユーザが入力したキーワードに対して検索した企業情報を提供する処理、及び、ユーザにアノテーションの作業を依頼する処理等の種々の処理を行う。 The processing unit 11 is configured by using an arithmetic processing unit such as a CPU (Central Processing Unit) or an MPU (Micro-Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The processing unit 11 reads and executes the server program 12a stored in the storage unit 12 to provide the company information searched for the keyword input by the user, and requests the user to perform annotation work. Perform various processes such as processing.

記憶部12は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部12は、処理部11が実行する各種のプログラム、及び、処理部11の処理に必要な各種のデータを記憶する。本実施の形態において記憶部12は、処理部11が実行するサーバプログラム12aと、予め機械学習がなされた学習モデル12bとを記憶している。また記憶部12には、検索対象となる企業に関する情報を記憶する企業情報DB(データベース)12cと、検索サービスを利用するユーザに関する情報を記憶するユーザDB12dと、ユーザによるアノテーションの結果に関する情報を記憶するアノテーション情報DB12eとが設けられている。 The storage unit 12 is configured by using a large-capacity storage device such as a hard disk. The storage unit 12 stores various programs executed by the processing unit 11 and various data required for processing by the processing unit 11. In the present embodiment, the storage unit 12 stores the server program 12a executed by the processing unit 11 and the learning model 12b to which machine learning has been performed in advance. Further, the storage unit 12 stores a company information DB (database) 12c that stores information about the company to be searched, a user DB 12d that stores information about the user who uses the search service, and information about the result of the annotation by the user. Annotation information DB 12e is provided.

本実施の形態においてサーバプログラム12aは、メモリカード又は光ディスク等の記録媒体99に記録された態様で提供され、サーバ装置1は記録媒体99からサーバプログラム12aを読み出して記憶部12に記憶する。ただし、サーバプログラム12aは、例えばサーバ装置1の製造段階において記憶部12に書き込まれてもよい。また例えばサーバプログラム12aは、遠隔の他のサーバ装置等が配信するものをサーバ装置1が通信にて取得してもよい。例えばサーバプログラム12aは、記録媒体99に記録されたものを書込装置が読み出してサーバ装置1の記憶部12に書き込んでもよい。サーバプログラム12aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。 In the present embodiment, the server program 12a is provided in a mode of being recorded on a recording medium 99 such as a memory card or an optical disk, and the server device 1 reads the server program 12a from the recording medium 99 and stores it in the storage unit 12. However, the server program 12a may be written to the storage unit 12 at the manufacturing stage of the server device 1, for example. Further, for example, in the server program 12a, the server device 1 may acquire what is distributed by another remote server device or the like by communication. For example, in the server program 12a, the writing device may read what has been recorded on the recording medium 99 and write it in the storage unit 12 of the server device 1. The server program 12a may be provided in the form of distribution via the network, or may be provided in the form of being recorded on the recording medium 99.

図3は、学習モデル12bの一構成例を示す模式図である。図示の学習モデル12bは、複数のニューロンが相互に結合したニューラルネットワークの構造をなしている。既存の技術であるため詳しい説明は省略するが、ニューロンは複数の入力に対して演算を行い、演算結果として1つの値を出力する素子である。ニューロンは、演算に用いられる重み付けの係数及び閾値等の情報を有している。ニューラルネットワークの学習モデル12bは、一又は複数のデータの入力を受け付ける入力層と、入力層にて受け付けられたデータに対して演算処理を行う中間層と、中間層の演算結果を集約して一又は複数の値を出力する出力層とを備えている。 FIG. 3 is a schematic diagram showing a configuration example of the learning model 12b. The illustrated learning model 12b has the structure of a neural network in which a plurality of neurons are interconnected. Since it is an existing technique, detailed description thereof will be omitted, but a neuron is an element that performs an operation on a plurality of inputs and outputs one value as an operation result. Neurons have information such as weighting coefficients and thresholds used in calculations. The neural network learning model 12b aggregates the input layer that accepts the input of one or more data, the intermediate layer that performs arithmetic processing on the data received by the input layer, and the arithmetic results of the intermediate layer. Alternatively, it is provided with an output layer that outputs a plurality of values.

本実施の形態に係る学習モデル12bは、キーワードとなる一又は複数の単語又は文章等を入力として受け付ける。また学習モデル12bは、キーワードの入力に対して、入力されたキーワードに関連する企業の企業ラベルと、入力されたキーワードに対応するベクトル情報とを出力する。企業ラベルは、企業に対して一意に付されるものであり、本実施の形態においては例えば1〜9999までの整数値とする。ベクトル情報は、キーワードに対応して定まる例えば256次元又はそれ以上のベクトルである。なお学習モデル12bは、企業ラベルを出力し、ベクトル情報を出力しない構成であってもよい。また本図において学習モデル12bは企業ラベルを1つ出力しているが、学習モデル12bは複数の企業ラベルを出力する構成であってもよい。 The learning model 12b according to the present embodiment accepts one or more words or sentences as keywords as input. Further, the learning model 12b outputs the company label of the company related to the input keyword and the vector information corresponding to the input keyword in response to the input of the keyword. The company label is uniquely attached to the company, and in the present embodiment, it is, for example, an integer value from 1 to 9999. The vector information is, for example, a vector having 256 dimensions or more, which is determined according to the keyword. The learning model 12b may have a configuration in which the company label is output and the vector information is not output. Further, although the learning model 12b outputs one company label in this figure, the learning model 12b may be configured to output a plurality of company labels.

本実施の形態において学習モデル12bは、例えばUniversal Sentence Encoder、又は、BERT(Bidirectional Encoder Representations from Transformers)等のモデルが採用され得る。Universal Sentence Encoderは、Attention及びTransformer等のモデルを複数の言語の学習データで学習させて得られるエンコーダであり、例えば英語及び日本語のような異なる言語であっても、同じ内容の入力文章であれば近い値のベクトルを出力する。なお、Universal Sentence Encoder及びBERT等の学習モデル12bは、既存の技術であるため、詳細な説明を省略する。また学習モデル12bは、Universal Sentence Encoder又はBERT等に限らず、例えばRNN(Recurrent Neural Network)及びLSTM(Long Short-Term Memory)によるエンコーダ等を採用してもよい。 In the present embodiment, as the learning model 12b, for example, a model such as Universal Sentence Encoder or BERT (Bidirectional Encoder Representations from Transformers) can be adopted. The Universal Sentence Encoder is an encoder obtained by training models such as Attention and Transformer with learning data of multiple languages, and even if they are in different languages such as English and Japanese, even if they are input sentences with the same content. Outputs a vector with close values. Since the learning model 12b such as Universal Sentence Encoder and BERT is an existing technique, detailed description thereof will be omitted. Further, the learning model 12b is not limited to the Universal Sentence Encoder or BERT, and for example, an encoder based on an RNN (Recurrent Neural Network) and an LSTM (Long Short-Term Memory) may be adopted.

サーバ装置1の記憶部12に記憶された学習モデル12bは、予め学習処理がなされた学習済のモデルである。学習処理は、予め与えられた多数の学習用データを用いて、ニューラルネットワークを構成する各ニューロンの係数及び閾値等に適切な値を設定する処理である。本実施の形態に係る学習モデル12bは、少なくとも最初の段階において、例えば企業のホームページ又は刊行物等から抽出したキーワード(単語又は文章等)に基づいて作成された学習用データを用いて学習処理が行われる。このときの学習処理は、キーワードに対して企業ラベルの対応付けられた教師データを用いるいわゆる教師あり学習であってよく、企業ラベルが対応付けられていないキーワードを学習用データとして用いるいわゆる教師なし学習であってよい。学習処理に用いられるデータの作成は、本システムの設計者等が行ってもよく、サーバ装置1等の装置が行ってもよい。本実施の形態において学習モデル12bの2回目以降の学習処理(再学習処理)は、サーバ装置1が収集したアノテーション情報、即ち検索サービスを利用するユーザが作成したアノテーション情報を用いて行われる。 The learning model 12b stored in the storage unit 12 of the server device 1 is a trained model that has been previously trained. The learning process is a process of setting appropriate values for the coefficients, thresholds, and the like of each neuron constituting the neural network by using a large number of learning data given in advance. The learning model 12b according to the present embodiment is subjected to learning processing using learning data created based on keywords (words or sentences, etc.) extracted from, for example, a company's homepage or publication, at least at the first stage. Will be done. The learning process at this time may be so-called supervised learning that uses teacher data associated with a company label for keywords, and so-called unsupervised learning that uses keywords that are not associated with a company label as learning data. May be. The data used for the learning process may be created by the designer of this system or the like, or may be created by a device such as the server device 1. In the present embodiment, the second and subsequent learning processes (re-learning processes) of the learning model 12b are performed using the annotation information collected by the server device 1, that is, the annotation information created by the user who uses the search service.

図4は、企業DB12cの一構成例を示す模式図である。本実施の形態に係る企業DB12cは、例えば「企業ラベル」、「企業名」、「企業属性情報」及び「詳細情報」等の情報を対応付けて記憶する。「企業ラベル」は、企業に対して一意に付される識別情報であり、学習モデル12bが出力する企業ラベルに対応するものである。本実施の形態において「企業ラベル」は、1〜9999までの整数値とする。図示の例では、「企業ラベル」が4桁の「0001」及び「0002」と示されているが、これは整数値の「1」及び「2」に対応するものである。「企業名」は、企業の名称等であり、文字列の情報である。図示の例では、「企業名」として「A株式会社」及び「B商事」が示されている。 FIG. 4 is a schematic diagram showing a configuration example of the corporate DB 12c. The company DB 12c according to the present embodiment stores information such as "company label", "company name", "company attribute information", and "detailed information" in association with each other. The "company label" is identification information uniquely attached to the company, and corresponds to the company label output by the learning model 12b. In the present embodiment, the "company label" is an integer value from 1 to 9999. In the illustrated example, the "company label" is shown as the four digits "0001" and "0002", which correspond to the integer values "1" and "2". The "company name" is a company name or the like, and is character string information. In the illustrated example, "A Co., Ltd." and "B Shoji" are shown as "company names".

「企業属性情報」は、企業の性質又は特徴等を表す一又は複数の情報である。本実施の形態において「企業属性情報」には、例えば「業種」及び「所在地」等の複数の情報が含まれている。「業種」は、企業が営む事業の種類であり、本例では「A株式会社」について「製造業」が、「B商事」について「輸入業」が示されている。「所在地」は、企業の例えば本社等が存在する場所を示す情報であり、本例では「A株式会社」について「東京」が、「B商事」について「神奈川」が示されている。「企業属性情報」には、上記の「業種」及び「所在地」の他にも、例えば事業年数、社員数、資本数又は売上等の種々の情報が記憶され得る。「詳細情報」は、企業に関する「企業属性情報」以外の情報であり、文字列の情報の他に画像、音声又はリンク等の種々の情報が含まれ得る。「詳細情報」は、例えば企業に関するニュース等の文章、企業のホームページのURL(Uniform Resource Locator)、企業が扱う商品の画像、又は、企業の広告(コマーシャル、CM(Commercial Message))の動画像等の種々の情報が記憶され得る。「詳細情報」は、検索結果と共にユーザに対して提示される情報である。 "Corporate attribute information" is one or more pieces of information representing the nature or characteristics of a company. In the present embodiment, the "corporate attribute information" includes a plurality of information such as "industry" and "location". "Industry" is a type of business run by a company. In this example, "Manufacturing industry" is indicated for "A Co., Ltd." and "Import industry" is indicated for "B Shoji". The "location" is information indicating the place where, for example, the head office of a company is located. In this example, "Tokyo" is indicated for "A Co., Ltd." and "Kanagawa" is indicated for "B Shoji". In addition to the above-mentioned "industry" and "location", various information such as the number of business years, the number of employees, the number of capitals, and sales can be stored in the "corporate attribute information". The "detailed information" is information other than the "corporate attribute information" about the company, and may include various information such as images, sounds, and links in addition to the character string information. "Detailed information" includes, for example, texts such as news about a company, URL (Uniform Resource Locator) of a company's homepage, images of products handled by the company, or moving images of company advertisements (commercial, CM (Commercial Message)), etc. Various information can be stored. "Detailed information" is information presented to the user together with the search result.

図5は、ユーザDB12dの一構成例を示す模式図である。本実施の形態に係るユーザDB12dは、「ユーザID」、「ユーザ名」、「ユーザ属性情報」及び「無料期限」等の情報を対応付けて記憶する。「ユーザID」は、ユーザに対して一意に付される識別情報であり、文字及び数字等の組み合わせによる情報である。図示の例では「ユーザID」として「U001」及び「U002」が示されている。「ユーザ名」は、ユーザの名前である。図示の例では「ユーザ名」として「ユーザA」及び「ユーザB」が示されているが、実際にはユーザの本名等が記憶される。 FIG. 5 is a schematic diagram showing a configuration example of the user DB 12d. The user DB 12d according to the present embodiment stores information such as "user ID", "user name", "user attribute information", and "free expiration date" in association with each other. The "user ID" is identification information uniquely attached to the user, and is information based on a combination of characters, numbers, and the like. In the illustrated example, "U001" and "U002" are shown as "user ID". The "user name" is the name of the user. In the illustrated example, "user A" and "user B" are shown as "user names", but in reality, the real name of the user and the like are stored.

「ユーザ属性情報」は、ユーザの性質又は特徴等を表す一又は複数の情報である。本実施の形態において「ユーザ属性情報」には、例えば「業種」及び「住所」等の複数の情報が含まれている。「業種」は、ユーザが務める企業の業種であり、本例では「ユーザA」について「製造業」が、「ユーザB」について「建築業」が示されている。「住所」は、ユーザの居住地を示す情報であり、本例では「ユーザA」及び「ユーザB]についていずれも「東京」が示されている。「ユーザ属性情報」には、上記の「業種」及び「住所」の他にも、例えば性別、年齢、学歴、保有資格、趣味及び特技等の種々の情報が含まれ得る。 "User attribute information" is one or more pieces of information representing the nature or characteristics of the user. In the present embodiment, the "user attribute information" includes a plurality of information such as "industry" and "address". The "industry" is the industry of the company in which the user works. In this example, "manufacturing industry" is indicated for "user A" and "construction industry" is indicated for "user B". The "address" is information indicating the place of residence of the user, and in this example, "Tokyo" is indicated for both "user A" and "user B". In addition to the above-mentioned "industry" and "address", the "user attribute information" may include various information such as gender, age, educational background, qualifications, hobbies, and special skills.

「無料期限」は、ユーザが検索サービスを無料で利用することができる期限に関する情報である。本実施の形態に係る情報処理システムでは、サーバ装置1からの依頼によりアノテーションの作業を行ったユーザに対して、検索サービスを所定期間だけ無料で利用することができる権利が特典として付与される。「無料期限」は、この特典として付与された無料で利用できる所定期間の最終日であり、本例では「ユーザA」について「2020/8/15」が、「ユーザB」について「2020/7/31」が示されている。 The "free expiration date" is information regarding the expiration date during which the user can use the search service for free. In the information processing system according to the present embodiment, the user who has performed the annotation work at the request of the server device 1 is given the right to use the search service free of charge for a predetermined period of time as a privilege. The "free period" is the last day of the predetermined period that can be used free of charge given as this benefit. In this example, "User A" is "2020/8/15" and "User B" is "2020/7". / 31 "is shown.

図6は、アノテーション情報DB12eの一構成例を示す模式図である。本実施の形態に係るアノテーション情報DB12eは、「企業ラベル」、「企業名」、「キーワード」及び「作業ユーザ」等の情報を対応付けて記憶する。「企業ラベル」及び「企業名」は、上述の企業DB12cに記憶される「企業ラベル」及び「企業名」と同じものである。図示の例では、「企業ラベル」が「0001」であり「企業名」が「A株式会社」の企業と、「企業ラベル」が「0032」であり「企業名」が「株式会社N」の企業とが示されている。 FIG. 6 is a schematic diagram showing a configuration example of the annotation information DB 12e. The annotation information DB 12e according to the present embodiment stores information such as "company label", "company name", "keyword", and "working user" in association with each other. The "company label" and "company name" are the same as the "company label" and "company name" stored in the above-mentioned company DB 12c. In the illustrated example, a company whose "company label" is "0001" and whose "company name" is "A Co., Ltd." and whose "company label" is "0032" and whose "company name" is "N Co., Ltd." It is shown as a company.

「キーワード」は、アノテーションの作業によりユーザが企業に対して対応付けた単語等である。「キーワード」には、一又は複数の単語等が記憶される。図示の例では、「キーワード」として「A株式会社」に「コンピュータ、人工知能、…」等の単語が対応付けられ、「株式会社N」に「自動車、バイク」等の単語が対応付けられている。「作業ユーザ」は、企業に対してキーワードの対応付けを行ったユーザを特定するための情報であり、例えばユーザに付されたユーザIDが記憶される。図示の例では、「作業ユーザ」として「U005」及び「U106」のユーザIDが示されている。 The "keyword" is a word or the like that the user associates with the company by the work of annotation. One or more words or the like are stored in the "keyword". In the illustrated example, "A Co., Ltd." is associated with words such as "computer, artificial intelligence, ..." and "N Co., Ltd." is associated with words such as "automobile, motorcycle". There is. The "working user" is information for identifying a user who has associated a keyword with a company, and for example, a user ID attached to the user is stored. In the illustrated example, the user IDs of "U005" and "U106" are shown as "working users".

サーバ装置1の通信部13は、社内LAN(Local Area Network)、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部13は、ネットワークNを介して、一又は複数のユーザが利用する端末装置3との間で通信を行う。通信部13は、処理部11から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部11へ与える。 The communication unit 13 of the server device 1 communicates with various devices via a network N including an in-house LAN (Local Area Network), a wireless LAN, the Internet, and the like. In the present embodiment, the communication unit 13 communicates with the terminal device 3 used by one or more users via the network N. The communication unit 13 transmits the data given by the processing unit 11 to another device, and gives the data received from the other device to the processing unit 11.

なお記憶部12は、サーバ装置1に接続された外部記憶装置であってよい。またサーバ装置1は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置1は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。 The storage unit 12 may be an external storage device connected to the server device 1. Further, the server device 1 may be a multi-computer including a plurality of computers, or may be a virtual machine virtually constructed by software. Further, the server device 1 is not limited to the above configuration, and may include, for example, a reading unit that reads information stored in a portable storage medium, an input unit that accepts operation input, a display unit that displays an image, and the like. ..

また本実施の形態に係るサーバ装置1の処理部11には、記憶部12に記憶されたサーバプログラム12aを処理部11が読み出して実行することにより、検索処理部11a、アノテーション処理部11b、特典付与部11c及び学習処理部11d等がソフトウェア的な機能部として実現される。なおこれらの機能部は、検索サービス及びアノテーション等の処理に関する機能部であり、これ以外の機能部については図示及び説明を省略する。 Further, in the processing unit 11 of the server device 1 according to the present embodiment, the processing unit 11 reads and executes the server program 12a stored in the storage unit 12, so that the search processing unit 11a, the annotation processing unit 11b, and the privilege The granting unit 11c, the learning processing unit 11d, and the like are realized as software-like functional units. It should be noted that these functional parts are functional parts related to the processing of the search service and annotations, and the illustration and description of other functional parts are omitted.

検索処理部11aは、ユーザが端末装置3にて入力した検索用のキーワードに対し、検索結果として企業情報を端末装置3へ送信し、キーワードに対応する企業情報をユーザに提示する処理を行う。検索処理部11aは、ユーザが入力したキーワードを端末装置3から取得する。検索処理部11aは、端末装置3から取得したキーワードを記憶部12の学習モデル12bへ入力し、学習モデル12bが出力する企業ラベルを取得する。検索処理部11aは、学習モデル12bが出力する企業ラベルに対応する企業に関する情報を企業情報DB12cから読み出して、読み出した情報を端末装置3へ送信する。これにより端末装置3は、サーバ装置1から受信した情報を表示し、入力されたキーワードにより検索された企業の情報をユーザに提示することができる。 The search processing unit 11a transmits the company information as a search result to the terminal device 3 for the search keyword input by the user on the terminal device 3, and performs a process of presenting the company information corresponding to the keyword to the user. The search processing unit 11a acquires the keyword input by the user from the terminal device 3. The search processing unit 11a inputs the keyword acquired from the terminal device 3 into the learning model 12b of the storage unit 12, and acquires the company label output by the learning model 12b. The search processing unit 11a reads the information about the company corresponding to the company label output by the learning model 12b from the company information DB 12c, and transmits the read information to the terminal device 3. As a result, the terminal device 3 can display the information received from the server device 1 and present the information of the company searched by the input keyword to the user.

アノテーション処理部(作業依頼送信部及び作業結果取得部)11bは、学習モデル12bの再学習処理に用いられる学習用データを作成するため、企業とキーワードとを対応付けるアノテーションの処理を行う。本実施の形態に係る情報処理システムではアノテーションの作業はユーザにより行われ、アノテーション処理部11bは、ユーザに対してアノテーションを依頼する処理、及び、ユーザによるアノテーションの結果を取得する処理を行う。本実施の形態においてアノテーション処理部11bは、検索サービスを無料で利用できる所定期間が終了する日から所定日数(例えば10日又は2週間等)前に至ったユーザに対して、アノテーションの作業の実施依頼を送信する。なお上記の所定期間及び所定日数は、同じであってもよい。即ち、ユーザが検索サービスを無料で利用できる期間が始まった際に(同時に又は直後に)、このユーザに対してアノテーションの作業を依頼してもよい。また例えば、検索サービスを無料で利用できる期間が終了した際又はその後に、ユーザに対するアノテーションの作業の依頼が行われてもよい。また例えばアノテーションの作業をユーザに対して毎日、3日毎又は1週間毎等の周期で繰り返し依頼してもよい。アノテーション処理部11bがアノテーションの作業を依頼するタイミング、頻度及び回数等は、どのようなタイミング、頻度及び回数等であってもよい。 The annotation processing unit (work request transmission unit and work result acquisition unit) 11b performs annotation processing for associating a company with a keyword in order to create learning data used for re-learning processing of the learning model 12b. In the information processing system according to the present embodiment, the annotation work is performed by the user, and the annotation processing unit 11b performs a process of requesting the user for annotation and a process of acquiring the result of the annotation by the user. In the present embodiment, the annotation processing unit 11b executes the annotation work for the user who has reached a predetermined number of days (for example, 10 days or 2 weeks) before the end of the predetermined period in which the search service can be used free of charge. Send the request. The above-mentioned predetermined period and the predetermined number of days may be the same. That is, when the period during which the user can use the search service for free begins (at the same time or immediately after), this user may be requested to perform annotation work. Further, for example, when the period during which the search service can be used free of charge ends, or after that, the user may be requested to perform annotation work. Further, for example, the annotation work may be repeatedly requested to the user every day, every three days, every week, or the like. The timing, frequency, number of times, etc. at which the annotation processing unit 11b requests the annotation work may be any timing, frequency, number of times, or the like.

このときにアノテーション処理部11bは、企業DB12cに登録されている複数の企業の中から、ユーザにアノテーションを依頼する対象の企業を選択する。例えばアノテーション処理部11bは、ユーザによる企業情報の閲覧数を計数し、閲覧数が多い企業を優先的に選択してアノテーションの対象とすることができる。また例えばアノテーション処理部11bは、アノテーションの実施数を計数し、実施数が少ない企業を優先的に選択してアノテーションの対象とすることができる。また例えばアノテーション処理部11bは、アノテーションを依頼するユーザのユーザ属性情報に基づいて、業種が同じ企業又は近い企業をアノテーションの対象とすることができ、所在地がユーザの住所に近い企業をアノテーションの対象とすることができる。これらアノテーションの対象となる企業の選択方法は、一例であってこれに限るものではなく、アノテーション処理部11bは、どのような方法で企業を選択してもよい。 At this time, the annotation processing unit 11b selects a target company for requesting annotation from the user from a plurality of companies registered in the company DB 12c. For example, the annotation processing unit 11b can count the number of times the user has viewed the company information, and preferentially select the company with the most views to be the target of annotation. Further, for example, the annotation processing unit 11b can count the number of annotations to be performed, and preferentially select a company having a small number of annotations to be annotated. Further, for example, the annotation processing unit 11b can target companies in the same industry or companies close to each other based on the user attribute information of the user requesting annotation, and targets companies whose location is close to the user's address. Can be. The method of selecting the company to be the target of these annotations is an example and is not limited to this, and the annotation processing unit 11b may select the company by any method.

アノテーション処理部11bは、アノテーション対象の企業と、この企業に対応付ける候補となる複数のキーワードとを組にして、アノテーションを依頼するユーザの端末装置3へ送信する。このときにアノテーション処理部11bは、例えばこの企業のホームページ等から抽出した単語を候補キーワードとすることができ、また例えば予め用意された単語の集まりの中からランダムに選択した単語を候補キーワードとすることができる。候補キーワードの選択方法はどのような方法であってもよい。また候補キーワードを提示するのではなく、ユーザから任意の文字列の入力を受け付けて、この企業に対応付けるキーワードとしてもよい。 The annotation processing unit 11b sets a company to be annotated and a plurality of keywords that are candidates associated with the company, and transmits the annotation to the terminal device 3 of the user who requests the annotation. At this time, the annotation processing unit 11b can use, for example, a word extracted from the homepage of this company as a candidate keyword, and for example, a word randomly selected from a set of words prepared in advance is used as a candidate keyword. be able to. Any method may be used for selecting the candidate keyword. Further, instead of presenting a candidate keyword, an arbitrary character string input may be accepted from the user and used as a keyword associated with this company.

アノテーション処理部11bは、アノテーションの作業の実施依頼を送信したユーザの端末装置3から、アノテーションの作業をユーザが実施した結果、即ち企業に対するキーワードの対応付けの結果を取得する。アノテーション処理部11bは、取得した結果を記憶部12のアノテーション情報DB12eに記憶する。 The annotation processing unit 11b acquires the result of the user performing the annotation work, that is, the result of associating the keyword with the company from the terminal device 3 of the user who has sent the request for executing the annotation work. The annotation processing unit 11b stores the acquired result in the annotation information DB 12e of the storage unit 12.

特典付与部11cは、アノテーションの依頼に対してこれを実施したユーザに特典を付与する処理を行う。本実施の形態に係る情報処理システムでは、上述のように検索サービスの利用が有料であるが、特典付与部11cはアノテーションを実施したユーザに対して検索サービスを無料で利用する権利を付与する。特典付与部11cは、例えば所定の期間(検索サービスを無料で利用することが可能な期間と同じであってもよく、別の期間であってもよい)におけるユーザのアノテーションの実施数が所定数(10件又は100件等)に達した場合に、このユーザに対して特典を付与する。特典付与部11cは、特典を付与することを決定したユーザについて、ユーザDB12dの「無料期限」を所定期間だけ延長するよう更新することで、特典を付与することができる。 The privilege granting unit 11c performs a process of granting a privilege to the user who has executed the request for annotation. In the information processing system according to the present embodiment, the use of the search service is charged as described above, but the privilege giving unit 11c grants the user who has performed the annotation the right to use the search service free of charge. In the privilege granting unit 11c, for example, the number of user annotations performed during a predetermined period (which may be the same as the period during which the search service can be used free of charge or may be another period) is a predetermined number. When (10 cases, 100 cases, etc.) is reached, a privilege is given to this user. The privilege granting unit 11c can grant the privilege to the user who has decided to grant the privilege by updating the "free period" of the user DB 12d so as to extend it by a predetermined period.

学習処理部11dは、学習モデル12bを学習する処理を行う。学習処理部11dは、アノテーション情報DB12eに蓄積された情報を基に、学習モデル12bを学習するための教師データ、即ち企業(企業ラベル)とキーワードとを対応付けたデータを生成する。なお、ユーザにより行われたアノテーションの結果は、必ずしも正しいとは限らない。このため学習処理部11dは、アノテーション情報DB12eに蓄積された情報から、正しいと判断できるアノテーション結果を選択して教師データを生成する。 The learning processing unit 11d performs a process of learning the learning model 12b. The learning processing unit 11d generates teacher data for learning the learning model 12b, that is, data in which a company (company label) and a keyword are associated with each other, based on the information accumulated in the annotation information DB 12e. The result of annotations made by the user is not always correct. Therefore, the learning processing unit 11d selects the annotation result that can be determined to be correct from the information accumulated in the annotation information DB 12e, and generates teacher data.

アノテーション結果の正否は、例えば以下の方法で判定することができる。例えば1つの企業に対して複数のユーザにアノテーションを依頼し、閾値を超える数のユーザがこの企業に対して対応付けたキーワードを、この企業に対応付ける正しいキーワードと判定することができる。また例えば、ユーザ毎にこれまでのアノテーション作業の実績を管理し、キーワードの正しい対応付けを行った実績の高いユーザによるアノテーション結果を、正しいアノテーション結果と判定することができる。また例えば、一のユーザによるアノテーション結果の正否判定を他のユーザに依頼し、この正否判定の作業に対しても特典を与えることができる。これらのアノテーション結果の正否判定は一例であってこれに限るものではなく、学習処理部11dは、どのような方法でアノテーション結果の正否を判定してもよく、正否判定を行わずにアノテーション結果を利用して教師データを生成してもよい。 The correctness of the annotation result can be determined by, for example, the following method. For example, it is possible to request annotations from a plurality of users for one company, and determine that the keywords associated with this company by the number of users exceeding the threshold value are the correct keywords associated with this company. Further, for example, it is possible to manage the achievements of the annotation work so far for each user, and determine the annotation result by the user who has a high achievement of correctly associating the keywords as the correct annotation result. Further, for example, it is possible to request another user to determine the correctness of the annotation result by one user, and to give a privilege to the work of the correctness determination. The correctness determination of these annotation results is an example and is not limited to this. The learning processing unit 11d may determine the correctness of the annotation result by any method, and the annotation result is determined without performing the correctness determination. It may be used to generate teacher data.

学習処理部11dは、例えば1週間又は1ヶ月等の周期で、学習モデル12bの学習処理(再学習処理)を行ってよい。なお、学習モデル12bの学習処理は、サーバ装置1とは別の装置にて行われてもよく、この場合にはサーバ装置1は学習処理部11dを備えず、別の装置が学習処理部11dを備えてよい。 The learning processing unit 11d may perform the learning process (re-learning process) of the learning model 12b at a cycle of, for example, one week or one month. The learning process of the learning model 12b may be performed by a device different from the server device 1. In this case, the server device 1 does not have the learning processing unit 11d, and another device is the learning processing unit 11d. May be equipped.

図7は、本実施の形態に係る端末装置3の構成を示すブロック図である。本実施の形態に係る端末装置3は、処理部31、記憶部(ストレージ)32、通信部(トランシーバ)33、表示部(ディスプレイ)34及び操作部35等を備えて構成されている。端末装置3は、例えば汎用のパーソナルコンピュータ、スマートフォン又はタブレット型端末装置等の情報処理装置を用いて構成され得る。 FIG. 7 is a block diagram showing the configuration of the terminal device 3 according to the present embodiment. The terminal device 3 according to the present embodiment includes a processing unit 31, a storage unit (storage) 32, a communication unit (transceiver) 33, a display unit (display) 34, an operation unit 35, and the like. The terminal device 3 may be configured by using an information processing device such as a general-purpose personal computer, a smartphone, or a tablet-type terminal device.

処理部31は、CPU又はMPU等の演算処理装置、ROM及びRAM等を用いて構成されている。処理部31は、記憶部32に記憶されたプログラム32aを読み出して実行することにより、ユーザによる検索用のキーワードを受け付ける処理、キーワードに応じた検索結果を表示する処理、及び、サーバ装置1からの依頼に基づくアノテーションの作業に関する処理等の種々の処理を行う。 The processing unit 31 is configured by using an arithmetic processing unit such as a CPU or MPU, a ROM, a RAM, and the like. The processing unit 31 reads and executes the program 32a stored in the storage unit 32 to receive a keyword for a search by the user, a process of displaying a search result according to the keyword, and a process from the server device 1. Performs various processes such as processes related to annotation work based on requests.

記憶部32は、例えばハードディスク等の磁気記憶装置又はフラッシュメモリ等の不揮発性のメモリ素子を用いて構成されている。記憶部32は、処理部31が実行する各種のプログラム、及び、処理部31の処理に必要な各種のデータを記憶する。本実施の形態において記憶部32は、処理部31が実行するプログラム32aを記憶している。本実施の形態においてプログラム32aは遠隔のサーバ装置等により配信され、これを端末装置3が通信にて取得し、記憶部32に記憶する。ただしプログラム32aは、例えば端末装置3の製造段階において記憶部32に書き込まれてもよい。例えばプログラム32aは、メモリカード又は光ディスク等の記録媒体98に記録されたプログラム32aを端末装置3が読み出して記憶部32に記憶してもよい。例えばプログラム32aは、記録媒体98に記録されたものを書込装置が読み出して端末装置3の記憶部32に書き込んでもよい。プログラム32aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。 The storage unit 32 is configured by using, for example, a magnetic storage device such as a hard disk or a non-volatile memory element such as a flash memory. The storage unit 32 stores various programs executed by the processing unit 31 and various data required for processing by the processing unit 31. In the present embodiment, the storage unit 32 stores the program 32a executed by the processing unit 31. In the present embodiment, the program 32a is distributed by a remote server device or the like, which is acquired by the terminal device 3 by communication and stored in the storage unit 32. However, the program 32a may be written to the storage unit 32, for example, at the manufacturing stage of the terminal device 3. For example, in the program 32a, the terminal device 3 may read the program 32a recorded on the recording medium 98 such as a memory card or an optical disk and store it in the storage unit 32. For example, in the program 32a, the writing device may read what was recorded on the recording medium 98 and write it in the storage unit 32 of the terminal device 3. The program 32a may be provided in a mode of distribution via a network, or may be provided in a mode recorded on a recording medium 98.

通信部33は、社内LAN、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部33は、ネットワークNを介して、サーバ装置1との間で通信を行う。通信部33は、処理部31から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部31へ与える。 The communication unit 33 communicates with various devices via a network N including an in-house LAN, a wireless LAN, the Internet, and the like. In the present embodiment, the communication unit 33 communicates with the server device 1 via the network N. The communication unit 33 transmits the data given by the processing unit 31 to another device, and gives the data received from the other device to the processing unit 31.

表示部34は、液晶ディスプレイ等を用いて構成されており、処理部31の処理に基づいて種々の画像及び文字等を表示する。本実施の形態において表示部34は、例えば企業の検索のためのキーワードを入力する画面、検索結果を表示する画面、及び、アノテーションの作業を受け付ける画面等の種々の画面表示を行う。 The display unit 34 is configured by using a liquid crystal display or the like, and displays various images, characters, and the like based on the processing of the processing unit 31. In the present embodiment, the display unit 34 displays various screens such as a screen for inputting a keyword for searching a company, a screen for displaying search results, and a screen for accepting annotation work.

操作部35は、ユーザの操作を受け付け、受け付けた操作を処理部31へ通知する。例えば操作部35は、機械式のボタン又は表示部34の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部35は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置3に対して取り外すことが可能な構成であってもよい。 The operation unit 35 accepts the user's operation and notifies the processing unit 31 of the accepted operation. For example, the operation unit 35 accepts a user's operation by an input device such as a mechanical button or a touch panel provided on the surface of the display unit 34. Further, for example, the operation unit 35 may be an input device such as a mouse and a keyboard, and these input devices may be configured to be removable with respect to the terminal device 3.

また本実施の形態に係る端末装置3は、記憶部32に記憶されたプログラム32aを処理部31が読み出して実行することにより、検索処理部31a及びアノテーション処理部31b等がソフトウェア的な機能部として処理部31に実現される。なおプログラム32aは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。 Further, in the terminal device 3 according to the present embodiment, the processing unit 31 reads and executes the program 32a stored in the storage unit 32, so that the search processing unit 31a, the annotation processing unit 31b, and the like become software-like functional units. It is realized in the processing unit 31. The program 32a may be a program dedicated to the information processing system according to the present embodiment, or may be a general-purpose program such as an Internet browser or a web browser.

検索処理部31aは、本実施の形態に係る情報処理システムが提供する企業の検索サービスの利用に関する種々の処理を行う。検索処理部31aは、ユーザから検索用のキーワードの入力を受け付けて、受け付けたキーワードをサーバ装置1へ送信する。端末装置3から送信されたキーワードに応じてサーバ装置1にて企業の検索が行われ、検索処理部31aは、サーバ装置1から検索結果として送信される企業の情報を受信する。検索処理部31aは、受信した企業情報を表示部34に表示する。 The search processing unit 31a performs various processes related to the use of the search service of the company provided by the information processing system according to the present embodiment. The search processing unit 31a accepts the input of the search keyword from the user, and transmits the accepted keyword to the server device 1. The server device 1 searches for a company according to the keyword transmitted from the terminal device 3, and the search processing unit 31a receives the company information transmitted from the server device 1 as a search result. The search processing unit 31a displays the received company information on the display unit 34.

アノテーション処理部31bは、サーバ装置1からの依頼に応じたアノテーションの実施に関する処理を行う。アノテーション処理部31bは、サーバ装置1からアノテーションの実施依頼と共に送信される企業及び候補キーワードの情報を受信する。アノテーション処理部31bは、受信した情報に基づいて、アノテーションを行うための画面、例えばアノテーション対象の企業の名称と、複数の候補キーワードとを表示(提示)した画面を表示部34に表示する。アノテーション処理部31bは、アノテーション用の画面において、ユーザが複数の候補キーワードの中から選択した候補キーワードを、企業に対応付けるキーワードとして受け付ける。アノテーション処理部31bは、アノテーション対象の企業と、ユーザが選択したキーワードとを対応付けた情報を、アノテーションの結果としてサーバ装置1へ送信する。 The annotation processing unit 31b performs processing related to the execution of annotation in response to the request from the server device 1. The annotation processing unit 31b receives the company and candidate keyword information transmitted from the server device 1 together with the annotation execution request. The annotation processing unit 31b displays on the display unit 34 a screen for performing annotation based on the received information, for example, a screen displaying (presenting) the name of the company to be annotated and a plurality of candidate keywords. On the annotation screen, the annotation processing unit 31b accepts a candidate keyword selected by the user from a plurality of candidate keywords as a keyword associated with the company. The annotation processing unit 31b transmits information in which the company to be annotated is associated with the keyword selected by the user to the server device 1 as a result of the annotation.

<検索処理>
本実施の形態に係る情報処理システムは、サーバ装置1が企業DB12cに蓄積した企業情報をユーザに提供するシステムである。なお本実施の形態においては、サーバ装置1が提供するサービスの利用には予めユーザ登録が必要であり、サービスの利用は有料である。ただし、ユーザが初めて本サービスの利用を開始してから所定期間(例えば1週間又は1ヶ月等)は、無料でサービスを利用することが可能であってもよい。ユーザは利用料金の支払いを行うことで本サービスを利用する権利を得ることができるが、本実施の形態においてはサーバ装置1が依頼するアノテーションの作業をユーザが実施することによって、ユーザは所定期間に亘って本サービスを無料で利用する権利を得ることができる。
<Search process>
The information processing system according to the present embodiment is a system in which the server device 1 provides the user with the company information accumulated in the company DB 12c. In the present embodiment, user registration is required in advance to use the service provided by the server device 1, and the use of the service is charged. However, it may be possible to use the service free of charge for a predetermined period (for example, one week or one month) after the user first starts using the service. The user can obtain the right to use this service by paying the usage fee, but in the present embodiment, the user performs the annotation work requested by the server device 1 for a predetermined period of time. You can get the right to use this service for free.

サービスを利用する権利を得たユーザは、自身の端末装置3にて所定のアプリケーションプログラムを起動するか、又は、Webブラウザ等のプログラムにて本システムのWebページにアクセスすることで、本サービスを利用することができる。例えばユーザは、情報を必要とする企業の企業名を直接的に入力するか、又は、企業名の一覧等から所望の企業名を選択することで、この企業の情報を端末装置3に表示させることができる。また本実施の形態においては、ユーザは端末装置3にてキーワードを入力し、このキーワードに応じた一又は複数の企業の情報を端末装置3に表示させることができる。端末装置3は、キーワードを入力するボックス等が設けられた検索画面を表示部34に表示して、ユーザからキーワードの入力を受け付ける。端末装置3は、受け付けた一又は複数のキーワードをサーバ装置1へ送信し、企業情報の検索を要求する。 A user who has obtained the right to use the service can use the service by starting a predetermined application program on his / her own terminal device 3 or accessing the Web page of the system with a program such as a Web browser. It can be used. For example, the user directly inputs the company name of the company that needs the information, or selects a desired company name from the list of company names and the like, so that the information of this company is displayed on the terminal device 3. be able to. Further, in the present embodiment, the user can input a keyword on the terminal device 3 and display information on one or more companies corresponding to the keyword on the terminal device 3. The terminal device 3 displays a search screen provided with a box or the like for inputting a keyword on the display unit 34, and accepts the input of the keyword from the user. The terminal device 3 transmits one or more received keywords to the server device 1 and requests a search for company information.

サーバ装置1は、ユーザが端末装置3にて入力したキーワードを取得し、取得したキーワードに応じた企業を企業DB12cから検索し、キーワードに応じた企業の情報を端末装置3へ送信する。このときにサーバ装置1は、端末装置3から取得したキーワードを記憶部12の学習モデル12bへ入力し、学習モデル12bが出力する企業ラベルを取得し、取得した企業ラベルに応じた企業の情報を企業DB12cから読み出す。なお学習モデル12bは複数の企業ラベルを出力してよく、サーバ装置1はユーザによる1回のキーワードの入力に対して複数の企業についての企業情報を端末装置3に送信してもよい。 The server device 1 acquires the keyword input by the user in the terminal device 3, searches the company DB 12c for the company corresponding to the acquired keyword, and transmits the company information corresponding to the keyword to the terminal device 3. At this time, the server device 1 inputs the keyword acquired from the terminal device 3 into the learning model 12b of the storage unit 12, acquires the company label output by the learning model 12b, and obtains the company information corresponding to the acquired company label. Read from the company DB 12c. The learning model 12b may output a plurality of company labels, and the server device 1 may transmit company information about the plurality of companies to the terminal device 3 in response to one keyword input by the user.

端末装置3は、キーワードの入力に応じてサーバ装置1から送信される企業情報を受信する。端末装置3は、受信した一又は複数の企業情報を表示部34に表示する。 The terminal device 3 receives the company information transmitted from the server device 1 in response to the input of the keyword. The terminal device 3 displays the received one or more company information on the display unit 34.

図8は、本実施の形態に係る端末装置3が行う検索処理の手順を示すフローチャートである。本実施の形態に係る端末装置3の処理部31の検索処理部31aは、例えばキーワードを入力するためのテキストボックス等が設けられた検索画面を表示部34に表示する(ステップS1)。検索処理部31aは、検索画面において検索用のキーワードが入力されたか否かを判定する(ステップS2)。キーワードが入力されていない場合(S2:NO)、検索処理部31aは、ステップS1へ処理を戻し、検索画面の表示を維持してキーワードの入力を待機する。キーワードが入力された場合(S2:YES)、検索処理部31aは、入力されたキーワードを取得して、取得したキーワードをサーバ装置1へ送信する(ステップS3)。 FIG. 8 is a flowchart showing the procedure of the search process performed by the terminal device 3 according to the present embodiment. The search processing unit 31a of the processing unit 31 of the terminal device 3 according to the present embodiment displays a search screen provided with, for example, a text box for inputting a keyword on the display unit 34 (step S1). The search processing unit 31a determines whether or not a search keyword has been input on the search screen (step S2). When the keyword is not input (S2: NO), the search processing unit 31a returns to step S1, maintains the display of the search screen, and waits for the keyword input. When a keyword is input (S2: YES), the search processing unit 31a acquires the input keyword and transmits the acquired keyword to the server device 1 (step S3).

その後、検索処理部31aは、キーワードの送信に対してサーバ装置1から検索結果として送信される企業情報を受信したか否かを判定する(ステップS4)。企業情報を受信していない場合(S4:NO)、検索処理部31aは、企業情報を受信するまで待機する。企業情報を受信した場合(S4:YES)、検索処理部31aは、受信した企業情報を検索結果として表示部34に表示し(ステップS5)、処理を終了する。 After that, the search processing unit 31a determines whether or not the company information transmitted as the search result from the server device 1 is received in response to the transmission of the keyword (step S4). When the company information is not received (S4: NO), the search processing unit 31a waits until the company information is received. When the company information is received (S4: YES), the search processing unit 31a displays the received company information as a search result on the display unit 34 (step S5), and ends the process.

図9は、本実施の形態に係るサーバ装置1が行う検索処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11の検索処理部11aは、端末装置3から検索用のキーワードを受信したか否かを判定する(ステップS11)。キーワードを受信していない場合(S11:NO)、検索処理部11aは、端末装置3からキーワードを受信するまで待機する。キーワードを受信した場合(S11:YES)、検索処理部11aは、受信したキーワードを記憶部12の学習モデル12bへ入力する(ステップS12)。検索処理部11aは、キーワードの入力に応じて学習モデル12bが出力する企業ラベルを取得する(ステップS13)。検索処理部11aは、取得した企業ラベルを基に、記憶部12の企業DB12cから企業情報を読み出す(ステップS14)。検索処理部11aは、読み出した企業情報を、キーワードの送信元の端末装置3へ送信し(ステップS15)、ステップS11へ処理を戻す。 FIG. 9 is a flowchart showing the procedure of the search process performed by the server device 1 according to the present embodiment. The search processing unit 11a of the processing unit 11 of the server device 1 according to the present embodiment determines whether or not a search keyword has been received from the terminal device 3 (step S11). When the keyword is not received (S11: NO), the search processing unit 11a waits until the keyword is received from the terminal device 3. When the keyword is received (S11: YES), the search processing unit 11a inputs the received keyword into the learning model 12b of the storage unit 12 (step S12). The search processing unit 11a acquires the company label output by the learning model 12b in response to the input of the keyword (step S13). The search processing unit 11a reads out the company information from the company DB 12c of the storage unit 12 based on the acquired company label (step S14). The search processing unit 11a transmits the read company information to the terminal device 3 from which the keyword is transmitted (step S15), and returns the processing to step S11.

<アノテーション処理>
本実施の形態に係る情報処理システムでは、検索精度を向上させるためサーバ装置1の学習モデル12bの再学習が定期的に行われる。この再学習に用いる教師データを生成するため、サーバ装置1は、企業とこの企業に関連するキーワードとの対応付けの作業、いわゆるアノテーションの作業を、検索サービスを利用するユーザに依頼する。またサーバ装置1は、アノテーションの作業を実施したユーザに対して、検索サービスを所定期間に亘って無料で利用できる権利を特典として付与する。これにより情報処理システムは、ユーザにアノテーションの作業の実施を促し、より多くの教師データを作成して学習モデル12bの再学習処理を行い、学習モデル12bを用いる検索サービスの精度を向上させることができる。
<Annotation processing>
In the information processing system according to the present embodiment, the learning model 12b of the server device 1 is periodically relearned in order to improve the search accuracy. In order to generate the teacher data used for this re-learning, the server device 1 requests the user who uses the search service to perform the work of associating the company with the keywords related to the company, that is, the work of annotation. Further, the server device 1 grants the user who has performed the annotation work the right to use the search service free of charge for a predetermined period as a privilege. As a result, the information processing system can encourage the user to perform the annotation work, create more teacher data, perform the re-learning process of the learning model 12b, and improve the accuracy of the search service using the learning model 12b. it can.

サーバ装置1は、各ユーザについて、検索サービスを無料で利用できる期間を管理している。記憶部12のユーザDB12dに「無料期限」として記憶されている情報がこの管理に用いられる。サーバ装置1は、例えば無料期限まで所定日数(例えば2週間等)になったユーザをユーザDB12dから選択し、このユーザにアノテーションの作業の実施依頼を送信する。このときにサーバ装置1は、企業DB12cに登録された複数の企業の中から、アノテーションの対象とする企業を選択すると共に、企業に対応付けるキーワードの候補を複数選択し、企業及び複数の候補キーワードをユーザの端末装置3へ送信してアノテーションの作業を依頼する。 The server device 1 manages the period during which the search service can be used free of charge for each user. Information stored as a "free expiration date" in the user DB 12d of the storage unit 12 is used for this management. The server device 1 selects, for example, a user who has reached a predetermined number of days (for example, two weeks) until the free deadline from the user DB 12d, and transmits a request for performing annotation work to this user. At this time, the server device 1 selects the company to be annotated from the plurality of companies registered in the company DB 12c, selects a plurality of keyword candidates associated with the company, and selects the company and the plurality of candidate keywords. It is sent to the user's terminal device 3 to request annotation work.

サーバ装置1によるアノテーションの対象とする企業の選択は、例えば以下の(1)〜(3)の方法で行うことができる。サーバ装置1は、これらの方法うちのいずれか1つを採用してもよく、複数の方法を併用してもよく、これら以外の方法を採用してもよい。
(1)企業情報の閲覧数に基づく選択
(2)アノテーションの実施数に基づく選択
(3)属性情報に基づく選択
The company to be annotated by the server device 1 can be selected by, for example, the following methods (1) to (3). The server device 1 may adopt any one of these methods, a plurality of methods may be used in combination, or a method other than these may be adopted.
(1) Selection based on the number of views of company information (2) Selection based on the number of annotations performed (3) Selection based on attribute information

(1)企業情報の閲覧数に基づく選択
本実施の形態に係る検索サービスでは、ユーザは企業情報を得ることを目的にサービスを利用する。企業情報の閲覧数が多い企業はユーザにとって必要とされる人気の企業であり、今後も多くのユーザが閲覧する可能性が高い。このような企業を優先的にアノテーションの対象として検索精度を向上することで、より優れた検索サービスを提供することが期待できる。例えばサーバ装置1は、企業情報DB12cに登録された企業毎に閲覧数をカウントし、1週間又は1ヶ月等の所定期間における閲覧数の順位付けを行う。サーバ装置1は、閲覧数の順位に応じて企業の選択確率に重み付け、即ち順位が高い企業ほど選択確率が高くなるような重み付けを行い、企業情報DB12cに登録された全企業の中からアノテーションの対象とする企業を選択する。
(1) Selection based on the number of views of company information In the search service according to this embodiment, the user uses the service for the purpose of obtaining company information. Companies with a large number of views of corporate information are popular companies that are needed by users, and there is a high possibility that many users will continue to view them in the future. By preferentially targeting such companies as annotation targets and improving search accuracy, it can be expected to provide better search services. For example, the server device 1 counts the number of views for each company registered in the company information DB 12c, and ranks the number of views in a predetermined period such as one week or one month. The server device 1 weights the selection probability of the company according to the order of the number of views, that is, weights the company so that the higher the order, the higher the selection probability, and annotates from all the companies registered in the company information DB 12c. Select the target company.

(2)アノテーションの実施数に基づく選択
再学習処理のための教師データが多いほど検索精度の向上が期待でき、企業のアノテーションの実施数が多いほどこの企業に関する検索精度の向上が期待できる。アノテーションの実施数にバラツキがある場合、企業間で検索精度に差異が生じる可能性があるが、アノテーションの実施数が少ない企業を優先的にアノテーションの対象として選択することでこれを回避又は低減等することが期待できる。例えばサーバ装置1は、企業情報DB12cに登録された企業毎にアノテーションの実施数をカウントし、1週間又は1ヶ月等の所定期間におけるアノテーションの実施数の順位付けを行う。サーバ装置1は、アノテーションの実施数の順位に応じて企業の選択確率に重み付け、即ち実施数が少ない企業ほど選択確率が高くなるような重み付けを行い、企業情報DB12cに登録された全企業の中からアノテーションの対象とする企業を選択する。
(2) Selection based on the number of annotations performed The more teacher data for the re-learning process, the better the search accuracy can be expected, and the larger the number of annotations performed by a company, the better the search accuracy for this company. If there is a variation in the number of annotations, there is a possibility that the search accuracy will differ between companies, but this can be avoided or reduced by preferentially selecting companies with a small number of annotations as annotation targets. You can expect to do it. For example, the server device 1 counts the number of annotations executed for each company registered in the company information DB 12c, and ranks the number of annotations implemented in a predetermined period such as one week or one month. The server device 1 weights the selection probability of the company according to the order of the number of annotations, that is, the company with the smaller number of annotations has a higher selection probability, and among all the companies registered in the company information DB 12c. Select the company to be annotated from.

(3)属性情報に基づく選択
本実施の形態においてサーバ装置1は、各企業の企業属性情報を企業情報DB12cに記憶すると共に、各ユーザのユーザ属性情報をユーザDB12dに記憶している。例えば企業属性情報及びユーザ属性情報に含まれる業種に着目した場合、ユーザは自分の職業の業種に近い業種の企業について信頼性の高いアノテーションを実施することが期待できる。また例えば企業属性情報に含まれる所在地及びユーザ属性情報に含まれる住所に着目した場合、ユーザは自身が居住している場所又は自身が勤務する企業の所在する場所等の近くに所在する企業について信頼性の高いアノテーションを実施することが期待できる。サーバ装置1は、企業情報DB12cに記憶された企業情報に含まれる特定の企業属性情報と、ユーザDB12dに記憶されたユーザに関する特定のユーザ属性情報とを比較し、アノテーションの作業を依頼するユーザのユーザ属性情報に対して所定の条件を満たす企業属性情報を有する企業を、アノテーションの対象の企業として選択する。なお企業の選択に用いる企業属性情報及びユーザ属性情報は、上記の業種及び所在地等に限らず、種々の情報が採用され得る。企業属性情報及びユーザ属性情報に基づいて、サーバ装置1は、例えばユーザが勤務する企業の取引先(仕入れ元もしくは販売先等)の企業を選択してもよく、また例えばユーザが勤務する企業の競合の企業又は取り扱う商品が類似している企業等を選択してもよい。
(3) Selection Based on Attribute Information In the present embodiment, the server device 1 stores the company attribute information of each company in the company information DB 12c and the user attribute information of each user in the user DB 12d. For example, when focusing on the industry included in the company attribute information and the user attribute information, the user can expect to carry out highly reliable annotation for a company in an industry close to the industry of his / her occupation. Also, for example, when focusing on the location included in the company attribute information and the address included in the user attribute information, the user trusts the company located near the place where he / she lives or the place where the company he / she works for. It can be expected that highly relevant annotations will be implemented. The server device 1 compares the specific company attribute information included in the company information stored in the company information DB 12c with the specific user attribute information about the user stored in the user DB 12d, and requests the work of annotation. A company that has company attribute information that satisfies a predetermined condition for the user attribute information is selected as the company to be annotated. The company attribute information and user attribute information used for selecting a company are not limited to the above-mentioned industry and location, and various types of information can be adopted. Based on the company attribute information and the user attribute information, the server device 1 may select, for example, the company of the business partner (supplier or sales destination) of the company in which the user works, or for example, the company in which the user works. You may select a competing company or a company that handles similar products.

また、サーバ装置1は、アノテーションの作業において企業に対応付けるキーワードの候補を選択する際に、例えばこの企業のホームページ等から抽出した単語を候補キーワードとしてもよく、また例えば予め用意された単語の集まりの中からランダムに選択した単語を候補キーワードとしてもよい。単語の集まりは、例えば検索サービスを利用するユーザがキーワードとして入力した単語をサーバ装置1が記憶しておくことで予め用意することができる。 Further, when selecting a keyword candidate associated with a company in the annotation work, the server device 1 may use, for example, a word extracted from the homepage of the company as a candidate keyword, or, for example, a set of words prepared in advance. A word randomly selected from the list may be used as a candidate keyword. A group of words can be prepared in advance by storing, for example, a word input as a keyword by a user who uses a search service in the server device 1.

サーバ装置1からアノテーションの実施依頼と共にアノテーションの対象となる企業及びこの企業に対応付けるキーワードの候補を与えられた端末装置3は、これらの情報に基づいて、ユーザがアノテーションの作業を行うためのアノテーション画面を表示部34に表示する。図10は、アノテーション画面の一例を示す模式図である。本実施の形態に係る端末装置3が表示するアノテーション画面では、最上部に「株式会社Xに関連するキーワードを選択・入力してください」のメッセージが表示される。このメッセージにより、アノテーションの対象となる企業が「株式会社X」であることを示している。 The company to be annotated together with the request for annotation from the server device 1 and the terminal device 3 given the candidate of the keyword corresponding to this company are the annotation screens for the user to perform the annotation work based on the information. Is displayed on the display unit 34. FIG. 10 is a schematic diagram showing an example of the annotation screen. On the annotation screen displayed by the terminal device 3 according to the present embodiment, the message "Please select / enter a keyword related to X Co., Ltd." is displayed at the top. This message indicates that the company to be annotated is "X Co., Ltd.".

端末装置3は、このメッセージの下方に、キーワードがラベルとして付されたボタンをマトリクス状に並べて表示する。図示の例では、「AI」、「IoT」、「ブロックチェーン」、「5G」、「スマートグリッド」、「量子コンピューティング」、「飲食業」、「卸売業」、「介護」、「運送業」、「保険」及び「医療」のラベルが付された12個のボタンが、4行×3列のマトリクス状に並べられている。端末装置3は、各ボタンに対するタッチ操作又はクリック操作等を受け付けることにより、企業に対応付けるキーワードの選択を受け付ける。図示の例では、「AI」及び「介護」のキーワードが選択されていることを、ボタンにハッチングを付すことで表している。 The terminal device 3 displays buttons labeled with keywords arranged in a matrix below this message. In the illustrated example, "AI", "IoT", "blockchain", "5G", "smart grid", "quantum computing", "restaurant", "wholesale", "nursing care", "transportation" , Twelve buttons labeled "Insurance" and "Medical" are arranged in a matrix of 4 rows x 3 columns. The terminal device 3 accepts the selection of the keyword associated with the company by accepting the touch operation or the click operation for each button. In the illustrated example, the selection of the keywords "AI" and "nursing care" is indicated by hatching the buttons.

また端末装置3は、これら複数のボタンの下方に、「任意入力」の文字列と、文字列を入力するためのテキストボックスとを並べて表示する。ユーザは端末装置3の文字入力の機能を利用して、このテキストボックスに任意の文字列を入力することができる。端末装置3は、テキストボックスに入力された文字列を、アノテーションの対象の企業に対応付けるキーワードとして受け付ける。図示の例では、テキストボックスに「ロボット」のキーワードが入力されている。 Further, the terminal device 3 displays a character string of "arbitrary input" and a text box for inputting the character string side by side below the plurality of buttons. The user can input an arbitrary character string in this text box by using the character input function of the terminal device 3. The terminal device 3 accepts the character string input in the text box as a keyword associated with the company to be annotated. In the illustrated example, the keyword "robot" is entered in the text box.

また端末装置3は、テキストボックスの下方に、「戻る」のラベルが付されたボタンと、「送信」のラベルが付されたボタンとを並べて表示する。「戻る」のボタンは、アノテーションの作業を中断して1つ前の表示状態、例えばメニュー画面又は検索画面等の表示状態へ戻る操作を受け付ける。「送信」のボタンは、ユーザによるアノテーションの作業の結果をサーバ装置1へ送信する操作を受け付ける。「送信」のボタンに対する操作が行われた場合、端末装置3は、アノテーションの対象の企業と、この企業にユーザが対応付けたキーワードとを含むアノテーション結果の情報をサーバ装置1へ送信する。図示の例では、「株式会社X」に対して「AI」、「介護」及び「ロボット」の3つのキーワードが対応付けられたアノテーション結果がサーバ装置1へ送信される。 Further, the terminal device 3 displays a button labeled "Back" and a button labeled "Send" side by side below the text box. The "Back" button accepts an operation of interrupting the annotation work and returning to the previous display state, for example, the display state of the menu screen or the search screen. The "send" button accepts an operation of sending the result of the annotation work by the user to the server device 1. When the operation for the "send" button is performed, the terminal device 3 transmits the annotation result information including the company to be annotated and the keyword associated with the company by the user to the server device 1. In the illustrated example, the annotation result in which the three keywords "AI", "nursing care", and "robot" are associated with "X Co., Ltd." is transmitted to the server device 1.

端末装置3からアノテーションの結果を受信したサーバ装置1は、受信した情報を記憶部12のアノテーション情報DB12eに記憶する。サーバ装置1は、アノテーション情報DB12eに蓄積された情報を用いて、学習モデル12bの再学習処理のための教師データを生成する。サーバ装置1は、例えば1週間又は1ヶ月等の周期で、教師データの生成と、これを用いた学習モデル12bの再学習処理とを行うことができる。 The server device 1 that has received the annotation result from the terminal device 3 stores the received information in the annotation information DB 12e of the storage unit 12. The server device 1 uses the information accumulated in the annotation information DB 12e to generate teacher data for the re-learning process of the learning model 12b. The server device 1 can generate teacher data and perform re-learning processing of the learning model 12b using the teacher data at a cycle of, for example, one week or one month.

ただし、ユーザにより行われたアノテーションの結果は、必ずしも正しいとは限らず、企業及びキーワードの対応関係(関係)に誤りが含まれる教師データを用いて学習モデル12bの再学習処理を行った場合には、検索精度が低減する可能性がある。そこで本実施の形態に係る情報処理システムでは、アノテーションの結果の信頼性を向上するために、以下の(1)〜(3)の処理の少なくとも1つを実行して、企業及びキーワードの対応関係を決定してもよい。
(1)2段階アノテーション
(2)複数ユーザの多数決
(3)ユーザの実績評価
However, the result of the annotation performed by the user is not always correct, and when the learning model 12b is relearned using the teacher data in which the correspondence (relationship) between the company and the keyword contains an error. May reduce search accuracy. Therefore, in the information processing system according to the present embodiment, in order to improve the reliability of the annotation result, at least one of the following processes (1) to (3) is executed, and the correspondence between the company and the keyword is obtained. May be determined.
(1) Two-step annotation (2) Majority decision of multiple users (3) Evaluation of user performance

(1)2段階アノテーション
サーバ装置1は、例えば第1のユーザに対して上述のアノテーションの作業を依頼して結果を取得した後、第2のユーザに対してこのアノテーションの結果の正否を判定する作業を依頼する。サーバ装置1は、第2のユーザが正当と判定したアノテーションの結果を、アノテーション情報DB12eに記憶し、学習モデル12bの教師データとして利用する。またサーバ装置1は、アノテーションの作業を実施した第1のユーザと、アノテーションの結果の正否判定の作業を実施した第2のユーザとの両方に、特典を付与してよい。
(1) The two-stage annotation server device 1 requests, for example, the first user to perform the above-mentioned annotation work, acquires the result, and then determines whether the result of this annotation is correct or not for the second user. Request work. The server device 1 stores the result of the annotation determined to be valid by the second user in the annotation information DB 12e and uses it as the teacher data of the learning model 12b. Further, the server device 1 may give a privilege to both the first user who has performed the annotation work and the second user who has performed the work of determining the correctness of the annotation result.

(2)複数ユーザの多数決
サーバ装置1は、1つの企業と複数の候補キーワードとを対応付けたアノテーションのための情報を生成し、同じ内容の情報を複数のユーザに送信してアノテーションの作業の実施依頼を行う。サーバ装置1は、この複数のユーザから取得した複数のアノテーションの結果を比較して、この企業に対して例えば半数以上のユーザが対応付けたキーワード、所定数以上のユーザが対応付けたキーワード、又は、最も多くのユーザが対応付けたキーワード等を取得する。サーバ装置1は、取得した一又は複数のキーワードをこの企業に対応付けた情報を、アノテーション情報DB12eに記憶する。
(2) Majority decision of a plurality of users The server device 1 generates information for annotation in which one company is associated with a plurality of candidate keywords, and sends the same information to a plurality of users to perform annotation work. Make an implementation request. The server device 1 compares the results of a plurality of annotations acquired from the plurality of users, and for example, a keyword associated with more than half of the users, a keyword associated with a predetermined number or more of users, or a keyword associated with the company. , Get the keywords etc. associated with the most users. The server device 1 stores the information in which the acquired one or more keywords are associated with this company in the annotation information DB 12e.

(3)ユーザの実績評価
サーバ装置1は、ユーザDB12dに登録された各ユーザについて、アノテーションの作業に関する実績の情報を記憶する。実績の情報は、例えばこれまでに行ったアノテーションの件数とすることができる。また例えば、上記の(1)又は(2)を行う場合には、有効と判断できるアノテーションの件数、又は、アノテーションの全件数に対する有効件数の割合等を実績の情報としてもよい。例えばサーバ装置1は、実績が閾値を超えるユーザのアノテーションの結果のみを採用してもよい。また例えばサーバ装置1は、上記の(1)を行う場合に、実績が閾値を超えるユーザが行ったアノテーションの結果については2段階目の判定を省力してもよい。また例えばサーバ装置1は、上記の(2)を行う場合に、実績に応じた重み付けを各ユーザに行って、各キーワードを対応付けたユーザの数を算出してもよい。サーバ装置1は、企業に対して各キーワードを対応付けたユーザ数を算出する際に、アノテーションの件数が閾値を超えるユーザについては例えば2人分等としてユーザ数を算出することができる。
(3) User Performance Evaluation The server device 1 stores information on performance related to annotation work for each user registered in the user DB 12d. The actual information can be, for example, the number of annotations performed so far. Further, for example, when the above (1) or (2) is performed, the number of annotations that can be determined to be valid, the ratio of the number of valid annotations to the total number of annotations, and the like may be used as actual information. For example, the server device 1 may adopt only the result of the annotation of the user whose actual result exceeds the threshold value. Further, for example, when the server device 1 performs the above (1), the determination in the second stage may be omitted for the result of the annotation performed by the user whose actual result exceeds the threshold value. Further, for example, when the server device 1 performs the above (2), each user may be weighted according to the actual results, and the number of users associated with each keyword may be calculated. When calculating the number of users associated with each keyword for a company, the server device 1 can calculate the number of users for, for example, two users whose number of annotations exceeds the threshold value.

サーバ装置1は、上記の(1)〜(3)の処理のうちの1つ又はいくつかを組み合わせて、端末装置3から取得したアノテーションの結果の中から、最終的に教師データとして用いる結果を選別してアノテーション情報DB12eに記憶する。又は、サーバ装置1は、端末装置3から取得したアノテーションの結果を全てアノテーション情報DB12eに記憶してもよく、この場合には学習モデル12bの再学習処理を行う際又はそれ以前の適宜のタイミングで、上記の(1)〜(3)の処理を行って教師データとして用いるアノテーションの結果を選別してもよい。このようにして選別された企業及びキーワードの対応情報が教師データとして用いられて学習モデル12bの再学習処理が行われる。ただし、サーバ装置1は、このような選別を行うことなく、端末装置3から取得した全てのアノテーションの結果を用いて再学習処理を行ってもよい。 The server device 1 combines one or several of the above processes (1) to (3) and finally uses the result as the teacher data from the annotation results obtained from the terminal device 3. It is selected and stored in the annotation information DB 12e. Alternatively, the server device 1 may store all the annotation results acquired from the terminal device 3 in the annotation information DB 12e. In this case, the relearning process of the learning model 12b may be performed or at an appropriate timing before that. , The results of annotations used as teacher data may be selected by performing the above processes (1) to (3). The correspondence information of the company and the keyword selected in this way is used as the teacher data, and the re-learning process of the learning model 12b is performed. However, the server device 1 may perform the re-learning process using the results of all the annotations acquired from the terminal device 3 without performing such selection.

またサーバ装置1は、アノテーションの作業を行ったユーザに対して、特典を付与する。本実施の形態に係る情報処理システムでは、サーバ装置1が提供する検索サービスを所定期間に亘って無料で利用する権利をユーザに特典として付与する。サーバ装置1は、ユーザDB12dの「無料期限」を延長することにより、上記の特典付与を行うことができる。サーバ装置1は、例えばアノテーションの作業数が閾値を超えたユーザに対して特典を付与してもよく、また例えば作業数に応じて無料の期間を決定しもよい。サーバ装置1は、特典を付与したユーザの端末装置3へ、特典を付与した旨を通知するメッセージを送信する。このメッセージを受信した端末装置3は、アノテーションの作業を実施したことにより特典が付与された旨をユーザに通知する。 Further, the server device 1 gives a privilege to the user who has performed the annotation work. In the information processing system according to the present embodiment, the user is given the right to use the search service provided by the server device 1 free of charge for a predetermined period as a privilege. The server device 1 can give the above-mentioned privilege by extending the "free period" of the user DB 12d. The server device 1 may give a privilege to a user whose number of work of annotation exceeds a threshold, for example, or may determine a free period according to the number of work, for example. The server device 1 transmits a message notifying that the privilege has been granted to the terminal device 3 of the user who has granted the privilege. Upon receiving this message, the terminal device 3 notifies the user that the privilege has been granted by performing the annotation work.

図11は、本実施の形態に係るサーバ装置1が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11のアノテーション処理部11bは、ユーザDB12dに登録された各ユーザについて、アノテーションの作業を依頼するタイミングに至ったか否かを判定する(ステップS31)。なお、アノテーションの作業を依頼するタイミングに至ったか否かは、ユーザDB12dの「無料期限」の所定日数前に至ったか否かにより判定される。依頼タイミングに至っていない場合(S31:NO)、アノテーション処理部11bは、アノテーションの作業を依頼するタイミングに至るまで待機する。 FIG. 11 is a flowchart showing a procedure of annotation processing performed by the server device 1 according to the present embodiment. The annotation processing unit 11b of the processing unit 11 of the server device 1 according to the present embodiment determines whether or not the timing for requesting the annotation work has been reached for each user registered in the user DB 12d (step S31). Whether or not the timing for requesting the annotation work has been reached is determined by whether or not the predetermined number of days before the "free deadline" of the user DB 12d has been reached. When the request timing has not been reached (S31: NO), the annotation processing unit 11b waits until the timing for requesting the annotation work is reached.

アノテーションの作業を依頼するタイミングに至った場合(S31:YES)、アノテーション処理部11bは、ユーザに依頼するアノテーションの内容を生成する(ステップS32)。本実施の形態においてアノテーションの内容は、アノテーションの対象となる企業と、この企業に対応付ける複数のキーワードとを含むものであるが、これに限られない。アノテーション処理部11bは、生成したアノテーションの内容をユーザの端末装置3へ送信することで、ユーザにアノテーションの作業の実施依頼を送信する(ステップS33)。 When the timing for requesting the annotation work is reached (S31: YES), the annotation processing unit 11b generates the content of the annotation requested to the user (step S32). In the present embodiment, the content of the annotation includes, but is not limited to, the company to be annotated and a plurality of keywords associated with the company. The annotation processing unit 11b transmits the content of the generated annotation to the user's terminal device 3, thereby transmitting a request for executing the annotation work to the user (step S33).

アノテーション処理部11bは、アノテーションの作業の実施依頼を送信したユーザの端末装置3から、アノテーションの結果を受け付けたか否かを判定する(ステップS34)。本実施の形態に係る情報処理システムでは、サーバ装置1の依頼をユーザが引き受けないことも可能であり、アノテーションの結果を受け付けていない場合には(S34:NO)、アノテーション処理部11bは、処理を終了する。 The annotation processing unit 11b determines whether or not the annotation result has been received from the terminal device 3 of the user who has transmitted the request for performing the annotation work (step S34). In the information processing system according to the present embodiment, it is possible for the user not to accept the request of the server device 1, and when the annotation result is not accepted (S34: NO), the annotation processing unit 11b processes. To finish.

端末装置3からユーザによるアノテーションの結果を受け付けた場合(S34:YES)、アノテーション処理部11bは、受け付けたアノテーションの結果、即ち企業及びキーワードを対応付けた情報を、記憶部12のアノテーション情報DB12eに記憶する(ステップS35)。処理部11の特典付与部11cは、アノテーションの作業を行ったユーザに対して、所定期間に亘って検索サービスを無料で利用できる権利を特典として付与し(ステップS36)、処理を終了する。なお本フローチャートでは、アノテーションの結果の信頼性を向上するための処理、即ち上述の(1)2段階アノテーション、(2)複数ユーザの多数決、及び、(3)ユーザの実績評価の処理は行っていない。これらの処理は、例えば本フローチャートのステップS35の前後に行われ得る。 When the result of annotation by the user is received from the terminal device 3 (S34: YES), the annotation processing unit 11b transmits the result of the received annotation, that is, the information associated with the company and the keyword, to the annotation information DB 12e of the storage unit 12. Store (step S35). The privilege giving unit 11c of the processing unit 11 grants the user who has performed the annotation work the right to use the search service free of charge for a predetermined period as a privilege (step S36), and ends the process. In this flowchart, processing for improving the reliability of annotation results, that is, (1) two-step annotation, (2) majority decision of multiple users, and (3) user performance evaluation processing is performed. Absent. These processes can be performed, for example, before and after step S35 of this flowchart.

図12は、本実施の形態に係る端末装置3が行うアノテーション処理の手順を示すフローチャートである。本実施の形態に係る端末装置3の処理部31のアノテーション処理部31bは、サーバ装置1からアノテーションの作業の実施依頼を受け付けたか否かを判定する(ステップS51)。アノテーションの作業の実施依頼を受け付けていない場合(S51:NO)、アノテーション処理部31bは、実施依頼を受け付けるまで待機する。 FIG. 12 is a flowchart showing a procedure of annotation processing performed by the terminal device 3 according to the present embodiment. The annotation processing unit 31b of the processing unit 31 of the terminal device 3 according to the present embodiment determines whether or not the request for execution of the annotation work has been received from the server device 1 (step S51). When the execution request of the annotation work is not accepted (S51: NO), the annotation processing unit 31b waits until the execution request is accepted.

アノテーションの作業の実施依頼を受け付けた場合(S51:YES)、アノテーション処理部31bは、サーバ装置1から送信されるアノテーションの内容についての情報に基づいて、アノテーションの対象となる企業と、この企業に対応付ける候補となるキーワードとを示したアノテーション画面(図10参照)を表示部34に表示する(ステップS52)。アノテーション処理部31bは、アノテーション画面におけるキーワードの選択又は入力等を受け付けることにより、ユーザによるアノテーションの作業を受け付ける(ステップS53)。アノテーション処理部31bは、ユーザによるアノテーションの作業の結果、即ち企業及びキーワードの対応に関する情報を、サーバ装置1へ送信する(ステップS54)。 When the request for performing the annotation work is received (S51: YES), the annotation processing unit 31b informs the company to be annotated and this company based on the information about the content of the annotation transmitted from the server device 1. An annotation screen (see FIG. 10) showing the keywords that are candidates for association is displayed on the display unit 34 (step S52). The annotation processing unit 31b accepts the annotation work by the user by accepting the selection or input of the keyword on the annotation screen (step S53). The annotation processing unit 31b transmits the result of the annotation work by the user, that is, the information regarding the correspondence between the company and the keyword to the server device 1 (step S54).

アノテーション処理部31bは、サーバ装置1からユーザに特典を付与した旨の通知を受け付けたか否かを判定する(ステップS55)。例えば所定数以上のアノテーションの作業が特典付与の条件となっている場合等には、ユーザが1件のアノテーションの作業を行っただけでは特典が付与されない場合がある。このように特典が付与されない場合(S55:NO)、アノテーション処理部31bは、処理を終了する。これに対してユーザに特典が付与された場合(S55:YES)、アノテーション処理部31bは、例えば表示部34にメッセージ等を表示して、ユーザに特典が付与された旨を通知し(ステップS56)、処理を終了する。 The annotation processing unit 31b determines whether or not the notification that the privilege has been given to the user has been received from the server device 1 (step S55). For example, when the work of a predetermined number or more of annotations is a condition for granting the privilege, the privilege may not be granted only by the user performing the work of one annotation. When the privilege is not given in this way (S55: NO), the annotation processing unit 31b ends the process. On the other hand, when the privilege is given to the user (S55: YES), the annotation processing unit 31b displays, for example, a message or the like on the display unit 34 to notify the user that the privilege has been given (step S56). ), End the process.

<その他の特典>
本実施の形態においては、サーバ装置1がユーザに付与する特典として、検索サービスを所定期間に亘って無料で利用できる権利を例に説明を行ったが、特典はこれ以外のものであってもよい。例えばサーバ装置1は、サービスの一部の機能を有料で提供し、特典としてこの機能を無料で利用できる権利を特典としてユーザに付与してもよい。例えばサーバ装置1は、検索サービスは全ユーザに無料で提供し、検索結果として表示される企業情報の量及び質等について有料会員と無料会員とで差を設けてもよく、この場合に有料会員と同等の権利を無料でユーザに特典として付与してもよい。また例えばサーバ装置1は、検索画面及び検索結果の表示画面等に広告を表示する機能を有していてもよく、この場合に広告を無料で配信する権利をユーザに特典として付与ししてもよい。またサーバ装置1は、検索結果の表示画面に複数の企業情報を表示してもよく、この場合により上位に企業情報を表示する権利をユーザに特典として付与してもよい。サーバ装置1は、これら以外の種々の特典を、アノテーションの作業を実施したユーザに対して付与してよい。
<Other benefits>
In the present embodiment, as a privilege given to the user by the server device 1, the right to use the search service free of charge for a predetermined period has been described as an example, but the privilege may be other than this. Good. For example, the server device 1 may provide a part of the functions of the service for a fee and grant the user the right to use this function free of charge as a privilege. For example, in the server device 1, the search service is provided to all users free of charge, and a difference may be provided between the paid member and the free member regarding the quantity and quality of the company information displayed as the search result. In this case, the paid member The same right as the above may be given to the user as a privilege free of charge. Further, for example, the server device 1 may have a function of displaying an advertisement on a search screen, a search result display screen, or the like, and in this case, the right to distribute the advertisement for free may be given to the user as a privilege. Good. Further, the server device 1 may display a plurality of company information on the search result display screen, and in this case, the user may be given the right to display the company information at a higher level as a privilege. The server device 1 may give various benefits other than these to the user who has performed the annotation work.

<まとめ>
以上の構成の本実施の形態に係る情報処理システムは、ユーザから検索のためのキーワードの入力を受け付けて、当該キーワードに応じた一又は複数の企業に関する情報を出力する検索サービスをサーバ装置1が提供する。サーバ装置1は、キーワード及び企業を対応付けるアノテーションの作業の実施依頼をユーザに送信し、ユーザからアノテーションの作業の結果としてキーワード及び企業を対応付けた情報を端末装置3から取得すると共に、アノテーションの作業を実施したユーザに対して特典を付与する。これにより本実施の形態に係る情報処理システムは、アノテーションの作業の実施をユーザに促すことができ、より多くのアノテーションの結果を収集して検索精度の向上等のために用いることができる。このようにユーザにアノテーション作業を依頼することにより、例えば、検索サービスの提供者を介さずに、学習用のデータを生成することができ、その結果、検索の精度向上が期待できる。
<Summary>
In the information processing system according to the present embodiment having the above configuration, the server device 1 provides a search service that accepts input of a keyword for search from a user and outputs information about one or more companies corresponding to the keyword. provide. The server device 1 sends a request for performing the annotation work associated with the keyword and the company to the user, acquires the information associated with the keyword and the company from the terminal device 3 as a result of the annotation work from the user, and also performs the annotation work. The privilege is given to the user who carried out the above. As a result, the information processing system according to the present embodiment can prompt the user to perform the annotation work, collect more annotation results, and use the information processing system for improving the search accuracy and the like. By requesting the user to perform annotation work in this way, for example, data for learning can be generated without going through the provider of the search service, and as a result, improvement in search accuracy can be expected.

また本実施の形態に係る情報処理システムは、検索サービスを所定期間に亘って無料で利用できる権利を特典としてユーザに付与する。これにより、検索サービスを利用するユーザに対して、アノテーションの作業の実施をより効果的に促すことが期待できる。 Further, the information processing system according to the present embodiment grants the user the right to use the search service free of charge for a predetermined period as a privilege. As a result, it can be expected that users who use the search service will be more effectively encouraged to carry out the annotation work.

また本実施の形態に係る情報処理システムは、検索サービスを無料で利用できる期間(無料期間)が経過する前に、アノテーションの作業の実施依頼をユーザに送信する。これにより、ユーザはアノテーションの作業を行うことで、無料期間が途切れることなく検索サービスを利用することが可能となる。 Further, the information processing system according to the present embodiment sends a request for performing annotation work to the user before the period during which the search service can be used free of charge (free period) elapses. As a result, the user can use the search service without interruption of the free period by performing the annotation work.

また本実施の形態に係る情報処理システムは、1つの企業に対して複数のユーザにアノテーションの作業の実施依頼を送信し、複数のユーザからアノテーションの作業の結果を取得して、取得した複数の結果に基づいて、教師データとして用いるキーワード及び企業の対応関係を決定する。例えば所定数以上のユーザが企業に対して対応付けたキーワードを抽出し、このキーワードと企業とを対応付けて教師データとすることができる。この企業に対して所定数に満たないユーザが対応付けたキーワードは、この企業に対応付けるキーワードとして信頼性が低いものと判断し、教師データとして利用しない。これにより、信頼性の高いアノテーションの結果を用いて、学習モデル12bの再学習処理を行うことができ、より確実な検索精度の向上が期待できる。 Further, the information processing system according to the present embodiment sends an annotation work execution request to a plurality of users to one company, acquires the results of the annotation work from the plurality of users, and obtains a plurality of acquired results. Based on the results, the keywords used as teacher data and the correspondence between companies are determined. For example, a predetermined number or more of users can extract a keyword associated with a company, and associate this keyword with the company to obtain teacher data. Keywords associated with this company by less than a predetermined number of users are judged to be unreliable as keywords associated with this company, and are not used as teacher data. As a result, the learning model 12b can be relearned using the highly reliable annotation results, and more reliable search accuracy can be expected to be improved.

また本実施の形態に係る情報処理システムは、サーバ装置1がユーザの作業実績を記憶し、複数のユーザによるアノテーションの結果と、各結果についてアノテーションの作業を行ったユーザの実績とに基づいて、教師データとして用いるキーワード及び企業の対応関係を決定する。例えば、これまでに所定件数以上のアノテーションの作業を行ったユーザは、信頼性の高いアノテーションを実施できると判断し、上記のように企業に対してキーワードを割り当てたユーザ数をカウントする際に、このユーザに重み付けを行って(例えばこのユーザを2人分とカウントし)、企業に対応付けるキーワードを決定することができる。また、より実績の高いユーザがアノテーションの作業で企業に対応付けたキーワードは、他のユーザが対応付けたか否かに関わらず、教師データとして採用してもよい。これらにより、より信頼性の高いアノテーションの結果を用いて再学習処理を行うことができ、より確実な検索精度の向上が期待できる。 Further, in the information processing system according to the present embodiment, the server device 1 stores the work results of the users, and based on the results of annotations by a plurality of users and the results of the users who performed the annotation work for each result. Determine the keywords used as teacher data and the correspondence between companies. For example, a user who has performed more than a predetermined number of annotations so far determines that highly reliable annotation can be performed, and when counting the number of users who have assigned keywords to a company as described above, the number of users is counted. This user can be weighted (for example, this user is counted as two people) to determine the keyword associated with the company. Further, the keywords associated with the company by the user with a higher track record in the annotation work may be adopted as the teacher data regardless of whether or not the other users have associated them. As a result, the re-learning process can be performed using the result of the annotation with higher reliability, and more reliable improvement of the search accuracy can be expected.

また本実施の形態に係る情報処理システムは、検索サービスにおける企業情報の閲覧数、又は、ユーザによるアノテーションの作業の実施数に基づいて、ユーザにアノテーションの作業を依頼する対象の企業を決定する。これにより、例えば閲覧数が多く、ユーザに求められる企業に関する検索精度の向上が期待でき、また例えばアノテーションの作業の実施数が少なく、十分な教師データを得られていない企業に関する検索精度の向上が期待できる。 Further, the information processing system according to the present embodiment determines a target company for requesting the user to perform the annotation work based on the number of times the company information is viewed in the search service or the number of times the user performs the annotation work. As a result, for example, it is expected to improve the search accuracy for companies that have a large number of views and are required by users, and for example, the search accuracy for companies that have a small number of annotation operations and do not have sufficient teacher data can be improved. You can expect it.

また本実施の形態に係る情報処理システムは、ユーザ属性情報及び企業属性情報に基づいて、ユーザにアノテーションの作業を依頼する企業を決定する。例えばユーザと同じ業種、又は、同じ地域等の企業についてアノテーションの作業を依頼することで、信頼性の高いアノテーションの結果を得ることが期待できる。 Further, the information processing system according to the present embodiment determines a company that requests the user to perform annotation work based on the user attribute information and the company attribute information. For example, by requesting annotation work for a company in the same industry or region as the user, it can be expected that highly reliable annotation results can be obtained.

また本実施の形態に係る情報処理システムは、1つの企業に対して対応付ける複数の候補キーワードをユーザに提示し、提示した複数の候補キーワードの中から一又は複数のキーワードの選択を受け付けることで、ユーザによるアノテーションの作業の結果を取得する。これによりユーザは、アノテーションの作業を容易に実施することが期待できる。 Further, the information processing system according to the present embodiment presents a plurality of candidate keywords to be associated with one company to the user, and accepts the selection of one or a plurality of candidate keywords from the presented plurality of candidate keywords. Get the result of the annotation work by the user. As a result, the user can expect to easily carry out the annotation work.

なお本実施の形態においては、検索サービスの検索対象を企業としたが、これに限るものではなく、企業以外の種々の検索対象を扱う検索サービスをサーバ装置1が提供してよい。 In the present embodiment, the search target of the search service is a company, but the present invention is not limited to this, and the server device 1 may provide a search service that handles various search targets other than the company.

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。 The embodiments disclosed this time should be considered as exemplary in all respects and not restrictive. The scope of the present invention is indicated by the scope of claims, not the above-mentioned meaning, and is intended to include all modifications within the meaning and scope equivalent to the scope of claims.

1 サーバ装置
3 端末装置
11 処理部
11a 検索処理部
11b アノテーション処理部
11c 特典付与部
11d 学習処理部
12 記憶部
12a サーバプログラム
12b 学習モデル
12c 企業情報DB
12d ユーザDB
12e アノテーション情報DB
13 通信部
31 処理部
31a 検索処理部
31b アノテーション処理部
32 記憶部
32a プログラム
33 通信部
34 表示部
35 操作部
98,99 記録媒体
1 Server device 3 Terminal device 11 Processing unit 11a Search processing unit 11b Annotation processing unit 11c Bonus granting unit 11d Learning processing unit 12 Storage unit 12a Server program 12b Learning model 12c Corporate information DB
12d user DB
12e Annotation information DB
13 Communication unit 31 Processing unit 31a Search processing unit 31b Annotation processing unit 32 Storage unit 32a Program 33 Communication unit 34 Display unit 35 Operation unit 98,99 Recording medium

Claims (11)

情報処理装置が、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する、
情報処理方法。
Information processing device
A request for performing work of associating a search keyword and a search target related to the search service is sent to the user of the search service.
As a result of the work, the information associated with the keyword and the search target is acquired from the user, and the information is obtained.
Granting the user who performed the work the right to use the search service for a predetermined period of time.
Information processing method.
前記情報処理装置は、前記所定期間が経過する前に前記作業の実施依頼をユーザに送信する、
請求項に記載の情報処理方法。
The information processing device transmits a request for performing the work to the user before the predetermined period elapses.
The information processing method according to claim 1.
情報処理装置が、Information processing device
ユーザの属性情報を記憶し、Memorize user attribute information
検索対象となる企業の属性情報を記憶し、Memorize the attribute information of the company to be searched,
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定し、Based on the memorized both attribute information, determine the company to request the work to the user,
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、A request for performing work of associating a search keyword and a search target related to the search service is sent to the user of the search service.
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、As a result of the work, the information associated with the keyword and the search target is acquired from the user, and the information is obtained.
前記作業を実施したユーザに対して特典を付与する、Granting benefits to users who have performed the above work,
情報処理方法。Information processing method.
前記情報処理装置が、
一つの検索対象に対して複数のユーザに前記作業の実施依頼を送信し、
前記複数のユーザから前記作業の結果を取得し、
取得した複数の結果に基づいて、前記キーワード及び前記検索対象の関係を決定する、
請求項1から請求項3までのいずれか1つに記載の情報処理方法。
The information processing device
Send the work execution request to multiple users for one search target,
Obtaining the results of the work from the plurality of users
The relationship between the keyword and the search target is determined based on the obtained plurality of results.
The information processing method according to any one of claims 1 to 3.
前記情報処理装置が、
前記ユーザの作業実績を記憶し、
取得した複数の結果、及び、各結果の作業を実施したユーザの実績に基づいて、前記キーワード及び前記検索対象の関係を決定する、
請求項4に記載の情報処理方法。
The information processing device
Memorize the work record of the user and
The relationship between the keyword and the search target is determined based on the acquired plurality of results and the results of the user who performed the work of each result.
The information processing method according to claim 4.
前記情報処理装置は、検索サービスにおける情報の閲覧数、又は、ユーザによる前記作業の実施数に基づいて、ユーザに作業を依頼する検索対象を決定する、
請求項1から請求項5までのいずれか1つに記載の情報処理方法。
The information processing device determines a search target for which the user is requested to perform the work, based on the number of times the information is viewed in the search service or the number of times the user performs the work.
The information processing method according to any one of claims 1 to 5.
前記情報処理装置が、
一の検索対象に対して対応付ける複数の候補キーワードをユーザに提示し、
提示した前記複数の候補キーワードの中から、一又は複数のキーワードの選択を前記ユーザから前記作業の結果として取得する、
請求項1から請求項までのいずれか1つに記載の情報処理方法。
The information processing device
Presenting to the user multiple candidate keywords that correspond to one search target,
From the presented plurality of candidate keywords, the selection of one or a plurality of keywords is acquired from the user as a result of the work.
The information processing method according to any one of claims 1 to 6.
コンピュータに、
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する、
処理を実行させる、コンピュータプログラム。
On the computer
A request for performing work of associating a search keyword and a search target related to the search service is sent to the user of the search service.
As a result of the work, the information associated with the keyword and the search target is acquired from the user, and the information is obtained.
Granting the user who performed the work the right to use the search service for a predetermined period of time.
A computer program that executes processing.
コンピュータに、On the computer
ユーザの属性情報を記憶し、Memorize user attribute information
検索対象となる企業の属性情報を記憶し、Memorize the attribute information of the company to be searched,
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定し、Based on the memorized both attribute information, determine the company to request the work to the user,
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信し、A request for performing work of associating a search keyword and a search target related to the search service is sent to the user of the search service.
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得し、As a result of the work, the information associated with the keyword and the search target is acquired from the user, and the information is obtained.
前記作業を実施したユーザに対して特典を付与する、Granting benefits to users who have performed the above work,
処理を実行させる、コンピュータプログラム。A computer program that executes processing.
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信する作業依頼送信部と、
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得する作業結果取得部と、
前記作業を実施したユーザに対して、前記検索サービスを所定期間利用する権利を付与する特典付与部と
を備える、情報処理装置。
A work request transmission unit that transmits a work request for associating a search keyword and a search target related to the search service to the user of the search service.
A work result acquisition unit that acquires information associated with a keyword and a search target as a result of the work from the user.
An information processing device including a privilege granting unit that grants a user who has performed the work the right to use the search service for a predetermined period of time.
ユーザの属性情報及び検索対象となる企業の属性情報を記憶する記憶部と、A storage unit that stores the attribute information of the user and the attribute information of the company to be searched,
記憶した両属性情報に基づいて、ユーザに作業を依頼する企業を決定する決定部と、Based on the memorized both attribute information, the decision department that decides the company to request the work to the user,
検索サービスに係る検索用のキーワード及び検索対象を対応付ける作業の実施依頼を、前記検索サービスのユーザに送信する作業依頼送信部と、A work request transmission unit that transmits a work request for associating a search keyword and a search target related to the search service to the user of the search service.
前記ユーザから前記作業の結果として、キーワード及び検索対象を対応付けた情報を取得する作業結果取得部と、A work result acquisition unit that acquires information associated with a keyword and a search target as a result of the work from the user.
前記作業を実施したユーザに対して特典を付与する特典付与部とWith the privilege granting department that grants benefits to the user who performed the above work
を備える、情報処理装置。Information processing device.
JP2020136750A 2020-08-13 2020-08-13 Information processing methods, computer programs and information processing equipment Active JP6867661B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020136750A JP6867661B1 (en) 2020-08-13 2020-08-13 Information processing methods, computer programs and information processing equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020136750A JP6867661B1 (en) 2020-08-13 2020-08-13 Information processing methods, computer programs and information processing equipment

Publications (2)

Publication Number Publication Date
JP6867661B1 true JP6867661B1 (en) 2021-05-12
JP2022032694A JP2022032694A (en) 2022-02-25

Family

ID=75801757

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020136750A Active JP6867661B1 (en) 2020-08-13 2020-08-13 Information processing methods, computer programs and information processing equipment

Country Status (1)

Country Link
JP (1) JP6867661B1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002157259A (en) * 2000-11-21 2002-05-31 Nippon Telegr & Teleph Corp <Ntt> Multimedia information retrieving method
JP4899581B2 (en) * 2006-03-29 2012-03-21 コニカミノルタエムジー株式会社 Information retrieval system and program
JP2008226061A (en) * 2007-03-15 2008-09-25 Fujifilm Corp Image tag designating device, image searching device, operation control method therefor and program for controlling those computers
JP2009003520A (en) * 2007-06-19 2009-01-08 Mic 9 Co Ltd Database server device, method of providing search service, and related method
JP5185807B2 (en) * 2008-12-16 2013-04-17 ヤフー株式会社 Voice search device, voice search method, and voice search program

Also Published As

Publication number Publication date
JP2022032694A (en) 2022-02-25

Similar Documents

Publication Publication Date Title
US10671620B2 (en) Method for recommending a teacher in a network teaching system
US7831585B2 (en) Employment of task framework for advertising
JP2019028647A (en) Training information providing device, method and program
US20110236870A1 (en) System and method for learning
US20070219988A1 (en) Enhanced Patent Prior Art Search Engine
Lytvyn et al. Design of the architecture of an intelligent system for distributing commercial content in the internet space based on SEO-technologies, neural networks, and Machine Learning
AU2016346497A1 (en) Method and system for performing a probabilistic topic analysis of search queries for a customer support system
TWI526962B (en) Contextual advertising with user features for providing user-relevant terms for selecting an advertisement for method, apparatus and computer readable storage medium
US20140156652A1 (en) Data matching
US20110119208A1 (en) Method and system for developing a classification tool
US20110010210A1 (en) Educational asset distribution system and method
KR102021425B1 (en) System and method of providing education platform
US11763180B2 (en) Unsupervised competition-based encoding
JP6865479B2 (en) Business card-related information provision method, business card-related information provision device and computer program
KR102457904B1 (en) System for providing sports lesson matching service
JP7041639B2 (en) Selection device, selection method and selection program
Zeng Evaluation and enhancement of web content accessibility for persons with disabilities
JP6714268B1 (en) Question sentence output method, computer program, and information processing apparatus
JP6867661B1 (en) Information processing methods, computer programs and information processing equipment
Vysotska et al. V. Lytvyn
JP2007305094A (en) Information providing method, information providing system and computer program
US20210201177A1 (en) Prediction system, prediction method, and information storage medium
KR20150112904A (en) Method and apparatus for managementing learning contents
JP2005346171A (en) Recruitment information provision system
KR20050071308A (en) Online advertising method and online advertising system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200824

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200909

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210401

R150 Certificate of patent or registration of utility model

Ref document number: 6867661

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250