JP6762584B2 - Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method - Google Patents

Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method Download PDF

Info

Publication number
JP6762584B2
JP6762584B2 JP2019114985A JP2019114985A JP6762584B2 JP 6762584 B2 JP6762584 B2 JP 6762584B2 JP 2019114985 A JP2019114985 A JP 2019114985A JP 2019114985 A JP2019114985 A JP 2019114985A JP 6762584 B2 JP6762584 B2 JP 6762584B2
Authority
JP
Japan
Prior art keywords
company
evaluation
data
acquired
test
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019114985A
Other languages
Japanese (ja)
Other versions
JP2020077361A (en
Inventor
鋭 塚本
鋭 塚本
Original Assignee
株式会社アッテル
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社アッテル filed Critical 株式会社アッテル
Publication of JP2020077361A publication Critical patent/JP2020077361A/en
Application granted granted Critical
Publication of JP6762584B2 publication Critical patent/JP6762584B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、企業における入社希望者の入社後評価を予測するための学習モデル構築装置、当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測装置、企業における入社希望者の入社後評価を予測するための学習モデル構築方法、および当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測方法に関するものである。 The present invention is a learning model construction device for predicting post-employment evaluation of a prospective employee in a company, a post-employment evaluation prediction device using a learning model constructed by the learning model construction device, and a post-employment evaluation prediction device for a prospective employee in a company. The present invention relates to a learning model construction method for predicting evaluation and a post-employment evaluation prediction method using a learning model constructed by the learning model construction device.

企業は、新卒採用や中途採用などの採用活動の際に広範な人材の中から自社に適した者を選ぶために、企業の社員の社内評価得点を面接試験だけでなく、業者が提供する職務適正試験や、企業独自で開発した職務適正試験行う場合がある。こうした職務適正試験を入社希望者に一律に受けさせることで客観的な評価の基礎となりうる面がある一方、それが一律であるために企業の社風や求められる能力と合致しない面があることも指摘されている。この指摘に対処するため、その企業で実際に働いている社員の職務適正試験と同じく社内評価とを結び付けた基準をもって入社希望者の職務適正試験の結果を評価しようとする技術がある(たとえば、特許文献1参照) In order to select a person who is suitable for the company from a wide range of human resources during recruitment activities such as new graduate recruitment and mid-career recruitment, the company not only conducts an interview test but also provides the duties provided by the company. There are cases where aptitude tests and job aptitude tests developed by the company are conducted. While having all applicants take such job aptitude tests uniformly can be the basis of objective evaluation, there are also aspects that do not match the corporate culture and required abilities because it is uniform. It has been pointed out. In order to deal with this point, there is a technology that attempts to evaluate the results of the job aptitude test for applicants who want to join the company based on criteria that are linked to the internal evaluation as well as the job aptitude test for employees who actually work at the company (for example). (See Patent Document 1)

特許第5171437号公報Japanese Patent No. 5171437

しかしながら、特許文献1が開示する技術は、企業において既に高い社内評価を得ている社員が過去に受けた適正試験の結果を参照し、高評価社員の職務適正試験の結果に基づいて入社希望者の採用目的範囲を決定するものであるところ(特許文献1段落0007参照)、その一方で、高い評価を受けている社員の平均値を利用していることは、企業には多様な特性を持つ高い評価の人材がいることを考慮していない 、また入社した社員が離職する理由までを推測することができない、という問題点がある。大まかな推測ではあるが昨今の流れに照らせば新卒者の大半は何らかの職務適性検査を受検しており採用側もこれを重視しているといわれるが、厚生労働省の発表によれば新卒者の3割強が就職後3年以内に離職しているという実態がある。この実態を企業側から見れば採用後に多大な費用をかけて育てた人材が結局離職してしまうという問題である。 However, the technology disclosed in Patent Document 1 refers to the results of aptitude tests that employees who have already received high in-house evaluations in a company have taken in the past, and applicants for joining the company based on the results of job aptitude tests of highly evaluated employees. (Refer to paragraph 0007 of Patent Document 1), on the other hand, using the average value of highly evaluated employees has various characteristics for companies. There is a problem that it does not consider that there are highly evaluated human resources, and it is not possible to guess the reason why the employee who joined the company leaves the job. Although it is a rough guess, in light of the recent trend, it is said that most new graduates have undergone some kind of job aptitude test and the hiring side also attaches great importance to this, but according to the announcement by the Ministry of Health, Labor and Welfare, 3 of the new graduates There is a fact that over-the-counter employees have left their jobs within three years after getting a job. Looking at this situation from the corporate side, the problem is that human resources who have been trained at great expense after hiring will eventually leave their jobs.

そこで本発明は、採用しようとする人材の入社後評価を多面的に予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことを目的としている。 Therefore, an object of the present invention is to enable the hiring activity to be carried out while predicting the post-employment evaluation of the human resources to be hired from various aspects, and to eliminate the mismatch that leads to the turnover as much as possible.

上記目的を達成するために本発明は、次の構成を備えている。なお、何れかの請求項記載の発明を説明するに当たって行う用語の定義等は、発明のカテゴリや記載順などに関係なくその性質上可能な範囲において他の発明にも適用されるものとする。 In order to achieve the above object, the present invention includes the following configurations. The definitions of terms used to describe the invention described in any of the claims shall be applied to other inventions to the extent possible due to their nature, regardless of the category or order of description of the invention.

(請求項1記載の発明)
請求項1記載の発明に係る学習モデル構築装置(以下、「請求項1の構築装置」という)は、採用を予定している企業(以下、「採用企業」という)の現在又は過去の社員(以下、「既存社員」という)それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得手段と、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段と、当該評価データ取得手段が取得した当該評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段と、当該試験データ取得手段が取得した試験データそれぞれと、これらに対応する当該ラベル取得手段が取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習手段と、を備え、当該評価データは、当該既存社員の離職をマイナス評価したデータである、ことを特徴とする。
(Invention according to claim 1)
The learning model construction device according to the invention according to claim 1 (hereinafter referred to as "construction device according to claim 1") is a current or past employee (hereinafter referred to as "adopting company") of a company scheduled to be adopted (hereinafter referred to as "adopting company"). (Hereinafter referred to as "existing employees") Examination data acquisition means for acquiring the results of taking the prescribed job aptitude test as test data, and evaluation data acquisition for acquiring evaluation data showing the results of internal evaluations of each existing employee. A means and a label acquisition means for acquiring the evaluation data acquired by the evaluation data acquisition means divided into three levels of H (high), M (intermediate), and L (low) as each evaluation label. , Hope to join the hiring company by conducting supervised learning using each set of test data acquired by the test data acquisition means and each set of labels acquired by the corresponding label acquisition means as teacher data. It is equipped with a learning means for constructing a learning model for predicting post-employment evaluation of applicants who have taken the appropriate test, and the evaluation data is data that negatively evaluates the turnover of the existing employee. It is a feature.

請求項1の構築装置によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。 According to the construction device of claim 1, a learning model based on current or past employee test data and evaluation data can be constructed. Since it is premised on building not only current employees but also past employees, it is possible to build a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. .. The reason for including turnover is that turnover can be interpreted as having a negative job performance.

(請求項2記載の発明)
請求項2記載の発明に係る学習モデル構築装置(以下、「請求項2の構築装置」という)は、請求項1の構築装置の好ましい態様として、前記既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得手段を、さらに備え、前記学習手段は、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うように構成されていることを特徴とする。
(Invention according to claim 2)
The learning model construction device according to the invention according to claim 2 (hereinafter, referred to as “construction device according to claim 2”) is an individual including the history and work history of each of the existing employees, as a preferred embodiment of the construction device according to claim 1. Further provided with personal history data acquisition means to be acquired as career data, the learning means supervised learning using the group obtained by adding the personal history data of each of the existing employees acquired by the personal history data acquisition means as teacher data. It is characterized in that it is configured to do so.

請求項2の構築装置によれば、入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における評価と総務職における評価のそれぞれを予測可能な学習モデルを構築しやすくすることができる。 According to the construction device of claim 2, it is possible to provide a learning model that can predict the degree of prediction of the evaluation of a prospective employee in more detail. By using supervised learning, a learning model is constructed by finding a suitable combination of test data for predicting post-employment evaluation from a large number of test data combinations without the need for prior human experience or intuition. be able to. In other words, by taking into account the history of current or past employees until they are hired by the company and the career history of the work they experienced after joining the company, for example, the evaluation in the sales position and the evaluation in the general affairs position can be evaluated respectively. It can make it easier to build a predictable learning model.

(請求項3記載の発明)
請求項3記載の発明に係る学習モデル構築装置(以下、「請求項3の構築装置」という)は、請求項1または2の構築装置の好ましい態様として、前記学習手段は、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築するように構成され、そのうえ、前記学習手段が構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する合致度判定手段が設けられていることを特徴とする。
(Invention according to claim 3)
The learning model construction device according to the invention according to claim 3 (hereinafter, referred to as “construction device according to claim 3”) is a preferred embodiment of the construction device according to claim 1 or 2, wherein the learning means teaches the teacher data. It is configured to construct a plurality of different learning models by performing a plurality of different supervised learning as data, and further, a test acquired by the test data acquisition means for each of the plurality of learning models constructed by the learning means. It is characterized in that a matching degree determining means for determining the matching degree between each of the test labels output by inputting the data and each of the evaluation labels acquired by the label acquiring means is provided.

請求項3の構築装置によれば、相異なる教師あり学習のそれぞれを行うことで(偶然の一致を除き)相異なる学習モデルを得ることになる。ここで試験ラベルそれぞれと評価ラベルそれぞれを比較し、その合致度を判定することができる。教師あり学習に用いる、たとえば「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっている。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索する意義がある。探索の結果、もっとも合致度の高い、すなわち、企業実態に則したもっとも入社後評価を適切に予測できる評価ラベルに係る学習モデル選択が可能になる。 According to the construction device of claim 3, different learning models are obtained (except for coincidence) by performing each of the different supervised learnings. Here, each test label and each evaluation label can be compared, and the degree of conformity can be determined. Algorithms used in supervised learning, such as "decision trees" and "random forests," have been found to vary in accuracy depending on the type and number of data used. In order to compensate for the decrease in accuracy due to this difference, it is meaningful to search for a more accurate learning model by using a method in which the type and number of data used are changed for each algorithm. As a result of the search, it becomes possible to select a learning model related to the evaluation label having the highest degree of matching, that is, the evaluation label that can appropriately predict the evaluation after joining the company according to the actual situation of the company.

(請求項4記載の発明)
請求項4記載の発明に係る学習モデル構築装置(以下、「請求項4の構築装置」という)は、請求項1ないし3いずれかの構築装置の好ましい態様として、前記採用企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、をさらに備え、前記ラベル取得手段は、前記評価データ取得手段が取得した評価データ(自社評価データ)に当該他社評価データ取得手段が取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
(Invention according to claim 4)
The learning model construction device according to the invention according to claim 4 (hereinafter, referred to as “construction device according to claim 4”) is different from the adopted company as a preferred embodiment of the construction device according to any one of claims 1 to 3. Or, the current or past employees of two or more other companies (hereinafter referred to as "existing employees of other companies") have acquired the results of taking the prescribed job aptitude test as other company's test data, and the other company's existing test data acquisition method. The label acquisition means further includes another company's evaluation data acquisition means for acquiring other company's evaluation data showing the result of each employee's in-house evaluation, and the label acquisition means uses the evaluation data (in-house evaluation data) acquired by the evaluation data acquisition means for the other company. It is characterized in that each of the merged data, which is a combination of the evaluation data of other companies acquired by the evaluation data acquisition means, is divided into a plurality of levels and acquired as each evaluation label.

請求項4の構築装置によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。 According to the construction device of claim 4, it is possible to construct a learning model of the hiring company while supplementing the in-house evaluation data and the like with the evaluation data of other companies. Since it is premised on building not only current employees but also past employees in the company and other companies, a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. Can be built.

(請求項5記載の発明)
請求項5記載の発明に係る学習モデル構築装置(以下、「請求項5の構築装置」という)は、採用企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、当該他社評価データ取得手段が取得した当該他社評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得手段と、当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習手段と、を備えることを特徴とする。
(Invention according to claim 5)
The learning model construction device according to the invention according to claim 5 (hereinafter, referred to as "construction device according to claim 5") is a current or past employee of one or more other companies (hereinafter, "" (Referred to as "existing employees of other companies") Acquire the means of acquiring other company's test data, which acquires the results of taking the prescribed job aptitude test as other company's test data, and the other company's evaluation data, which shows the results of each other company's internal evaluation. Each evaluation label is divided into three levels, H (high), M (intermediate), and L (low) , for each of the other company's evaluation data acquisition means and the other company's evaluation data acquired by the other company's evaluation data acquisition means. Perform supervised learning by using the other company's label acquisition means to be acquired, the other company's test data acquired by the other company's test data acquisition means, and the corresponding sets of labels acquired by the other company's label acquisition means as other company's teacher data. Therefore, it is characterized by providing other companies' learning means for constructing a learning model for post-employment evaluation prediction of a person who wishes to join the hiring company and has taken the aptitude test.

請求項5の構築装置によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。 According to the construction device of claim 5, a learning model of the hiring company can be constructed by utilizing the evaluation data of other companies regarding the employees of other companies. Since it is premised on building not only current employees but also past employees at other companies, we will build a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. be able to.

(請求項6記載の発明)
請求項6記載の発明に係る入社後評価予測装置(以下、「請求項6の予測装置」という)は、請求項1、2、4および5いずれかの構築装置で構築した学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
(Invention according to claim 6)
The post-employment evaluation prediction device according to the invention of claim 6 (hereinafter, referred to as “prediction device of claim 6”) uses a learning model constructed by any of the construction devices of claims 1, 2, 4, and 5. A preferred embodiment of the post-employment evaluation prediction device is an applicant test data acquisition means for acquiring the result of the applicant for the job aptitude test as the applicant examination data, and the applicant test data acquisition means. It is characterized by comprising an evaluation prediction means for predicting the post-employment evaluation of the applicant for joining the company based on each of the acquired applicant test data of the applicant for joining the company and the learning model.

請求項6の予測装置によれば、入社希望者の入社後の活躍度を離職の可能性をも含め高確度で予想することができる。特に請求項2の装置によって構築された学習モデルを用いたときは、既存社員それぞれの履歴・職務経歴を含む個人経歴データをも加味されていることから、たとえば企業の業種・業態・企業規模、さらに当該企業内の部署や上司・同僚環境の違いまでも反映するので、より企業実態にあった学習モデルを提供することができる。 According to the prediction device of claim 6, the degree of activity of a person who wishes to join the company after joining the company can be predicted with high accuracy including the possibility of leaving the job. In particular, when the learning model constructed by the device of claim 2 is used, personal history data including the history and work history of each existing employee is also taken into consideration. Therefore, for example, the type of business, business type, and size of the company. Furthermore, since differences in departments within the company and the environment of bosses and colleagues are also reflected, it is possible to provide a learning model that is more suitable for the actual situation of the company.

(請求項7記載の発明)
請求項7記載の発明に係る入社後評価予測装置(以下、「請求項7の予測装置」という)は、請求項3記載の学習モデル構築装置で構築した複数の学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
(Invention according to claim 7)
The post-employment evaluation prediction device according to the invention according to claim 7 (hereinafter, referred to as “prediction device according to claim 7”) is a post-employment evaluation using a plurality of learning models constructed by the learning model construction device according to claim 3. A preferred embodiment of the prediction device, which is a means of acquiring the applicant test data for acquiring the result of the applicant for joining the company taking the predetermined job suitability test as the applicant test data, and a matching degree determined by the matching degree determining means. Based on the selection means for selecting the learning model with the highest degree of matching, the applicant test data of the applicant for joining the company acquired by the applicant examination data acquisition means, and the learning model, the applicant for joining the company It is characterized by being provided with an evaluation prediction means for predicting evaluation after joining the company.

請求項7の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。 According to the invention of claim 7, it is possible to predict the post-employment evaluation of a person who wishes to join the company with high accuracy by using a learning model that conforms to the actual situation of the company among different learning models. Needless to say, the possibility of leaving a job can be predicted with high accuracy in light of the learning model.

(請求項8記載の発明)
請求項8記載の発明に係る学習モデル構築方法(以下、「請求項8の構築方法」という)は、コンピュータによって実行される入社後評価予測方法であって、採用を予定している企業(以下、「採用企業」というの現在又は過去の社員(以下、「既存社員」という)それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得ステップと、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得ステップと、当該評価データ取得ステップで取得した当該評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得ステップと、当該試験データ取得ステップで取得した試験データそれぞれと、これらに対応する当該ラベル取得ステップで取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習ステップと、を備え、当該評価データは、当該既存社員の離職をマイナス評価したデータである、ることを特徴とする。
(Invention according to claim 8)
The learning model construction method according to the invention according to claim 8 (hereinafter, referred to as "construction method of claim 8") is a post-employment evaluation prediction method executed by a computer, and is a company planning to adopt it (hereinafter,). , The test data acquisition step to acquire the result of each current or past employee (hereinafter referred to as "existing employee") of the "employed company" as the test data, and the in-house of each existing employee The evaluation data acquisition step for acquiring the evaluation data showing the evaluation result and the evaluation data acquired in the evaluation data acquisition step are divided into three levels of H (high), M (intermediate), and L (low). , The label acquisition step acquired as each evaluation label, each test data acquired in the test data acquisition step, and each set of labels acquired in the corresponding label acquisition step are used as teacher data for supervised learning. By doing so, the evaluation data is provided with a learning step for constructing a learning model for post-employment evaluation prediction of a person who wishes to join the hiring company and has taken the aptitude test. It is characterized by the fact that the data is a negative evaluation of employee turnover.

請求項8の構築方法によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、現在の社員だけでなく過去の社員をも構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。 According to the construction method of claim 8, a learning model based on current or past employee test data and evaluation data can be constructed. By using supervised learning, a learning model is constructed by finding a suitable combination of test data for predicting post-employment evaluation from a large number of test data combinations without the need for prior human experience or intuition. be able to. In addition, since it is premised on building not only current employees but also past employees, we will build a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. be able to. The reason for including turnover is that turnover can be interpreted as having a negative job performance.

(請求項9記載の発明)
請求項9記載の発明に係る学習モデル構築方法(以下、「請求項7の構築方法」という)は、請求項8の構築方法の好ましい態様として、当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得ステップを、さらに備え、前記学習ステップでは、当該個人経歴データ取得ステップで取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うことを特徴とする。
(Invention according to claim 9)
The learning model construction method according to the invention according to claim 9 (hereinafter, referred to as "construction method of claim 7") is a preferred embodiment of the construction method of claim 8, and is an individual including the history and work history of each of the existing employees. A step for acquiring personal history data to be acquired as career data is further provided, and in the learning step, supervised learning is performed using the group obtained by adding the personal history data of each of the existing employees acquired in the personal history data acquisition step as teacher data. It is characterized by doing.

請求項9の構築方法によれば、入社希望者の予測度をより細部にわたって予測可能な学習モデルを提供することができる。すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における活躍度と総務職における活躍度のそれぞれを予測可能な学習モデルを構築することができる。 According to the construction method of claim 9, it is possible to provide a learning model that can predict the degree of prediction of a prospective employee in more detail. In other words, by taking into account the history of current or past employees until they were hired by the company and the career history of the duties they experienced after joining the company, for example, the degree of activity in the sales position and the degree of activity in the general affairs position can be determined. You can build a predictable learning model.

(請求項10記載の発明)
請求項10記載の発明に係る学習モデル構築方法(以下、「請求項10の予測方法」という)は、請求項8または9いずれかの構築方法の好ましい態様として、他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、をさらに備え、前記ラベル取得ステップでは、前記評価データ取得ステップが取得した評価データに当該他社評価データ取得ステップで取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
(Invention according to claim 10)
The learning model construction method according to the invention according to claim 10 (hereinafter, referred to as “prediction method of claim 10”) is a preferred embodiment of the construction method according to claim 8 or 9, in which existing employees of other companies have predetermined duties. The other company's test data acquisition step to acquire the result of taking the aptitude test as the other company's test data and the other company's evaluation data acquisition step to acquire the other company's evaluation data showing the result of the in-house evaluation of each existing employee of the other company are further provided. In the label acquisition step, the merged data obtained by combining the evaluation data acquired by the evaluation data acquisition step with the evaluation data of other companies acquired in the evaluation data acquisition step of the other company is divided into a plurality of levels as each evaluation label. It is characterized by acquiring.

請求項10の予測方法によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。 According to the prediction method of claim 10, it is possible to construct a learning model of the hiring company while supplementing the in-house evaluation data and the like with the evaluation data of other companies. Since it is premised on building not only current employees but also past employees in the company and other companies, a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. Can be built.

(請求項11記載の発明)
請求項11記載の発明に係る学習モデル構築方法(以下、「請求項11の構築方法」という)は、コンピュータによって実行される入社後評価予測方法であって、
採用を予定している企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、当該他社評価データ取得ステップで取得した当該他社評価データそれぞれをH(高い)、M(中間)、L(低い)の3分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得ステップと、当該他社試験データ取得ステップで取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得ステップで取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習ステップと、を備え当該評価データは、当該既存社員の離職をマイナス評価したデータである、ることを特徴とする。
(Invention according to claim 11)
The learning model construction method according to the invention according to claim 11 (hereinafter, referred to as "construction method of claim 11") is a post-employment evaluation prediction method executed by a computer.
The results of each current or past employee of one or more other companies (hereinafter referred to as "existing employees of other companies"), which is different from the company scheduled to be hired, have taken the prescribed job aptitude test as other company test data. The other company's test data acquisition step to be acquired, the other company's evaluation data acquisition step to acquire the other company's evaluation data showing the results of each other company's internal evaluation, and the other company's evaluation data acquired in the other company's evaluation data acquisition step The other company's label acquisition step, which acquires H (high), M (intermediate), and L (low) as their respective evaluation labels, and the other company's test data acquired in the other company's test data acquisition step, and these After joining the company who wished to join the hiring company and took the aptitude test by performing supervised learning using each set of labels acquired in the other company's label acquisition step corresponding to It is characterized by having a learning step of another company that builds a learning model for evaluation prediction, and the evaluation data is data that negatively evaluates the turnover of the existing employee.

請求項11の構築方法によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。 According to the construction method of claim 11, it is possible to build a learning model of the hiring company by utilizing the evaluation data of other companies regarding the employees of other companies. Since it is premised on building not only current employees but also past employees at other companies, we will build a learning model that can predict not only the positive activity of applicants for joining the company but also the negative activity including turnover. be able to.

(請求項12記載の発明)
請求項12記載の発明に係る学習モデル構築方法(以下、「請求項12の構築方法」という)は、請求項8または9のいずれかの構築方法の好ましい態様として、前記学習ステップでは、前記教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築し、そのうえ、前記学習ステップで構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得ステップで取得した評価ラベルそれぞれとの合致度を判定する合致度判定ステップが設けられていることを特徴とする。
(Invention according to claim 12)
The learning model construction method according to the invention according to claim 12 (hereinafter, referred to as "construction method according to claim 12") is a preferred embodiment of the construction method according to claim 8 or 9, and in the learning step, the teacher A plurality of different learning models are constructed by performing a plurality of different supervised learning as data, and further, each of the test data acquired by the test data acquisition means is inserted into each of the plurality of learning models constructed in the learning step. It is characterized in that a matching degree determination step for determining the matching degree between each of the test labels output by the above and each of the evaluation labels acquired in the label acquisition step is provided.

請求項12の構築方法によれば、相異なる教師あり学習のそれぞれを行うことで(偶然の一致を除き)相異なる学習モデルを得ることができる。ここでそれぞれの学習モデルのレベル合致度と試験データのレベルとを比較し、その合致度を判定することができる。その結果、もっとも合致度の高い、すなわち、企業の実態に則したもっとも入社後評価を適切に予測できる学習モデルの選択が可能になる。 According to the construction method of claim 12, different learning models can be obtained (except for coincidence) by performing each of the different supervised learnings. Here, the level matching degree of each learning model can be compared with the level of the test data, and the matching degree can be determined. As a result, it becomes possible to select a learning model with the highest degree of matching, that is, the most appropriate prediction of post-employment evaluation according to the actual situation of the company.

(請求項13記載の発明)
請求項13記載の発明に係る入社後評価予測方法(以下、「請求項13の予測方法」という)は、請求項12記載の学習モデル構築方法で構築した複数の学習モデルを用いた入社後評価予測方法であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得ステップと、前記合致度判定ステップで判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定ステップと、当該希望者試験データ取得ステップで取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測ステップと、を備えることを特徴とする。
(Invention according to claim 13)
The post-employment evaluation prediction method according to the invention according to claim 13 (hereinafter, referred to as “prediction method according to claim 13”) is a post-employment evaluation using a plurality of learning models constructed by the learning model construction method according to claim 12. This is a prediction method, from the applicant test data acquisition step in which the applicant for joining the company acquires the result of taking the predetermined job aptitude test as the applicant test data, and the matching degree determined in the matching degree determination step. Post-employment evaluation of the applicant based on the selection step to select the learning model with the highest degree of matching, the applicant examination data of the applicant who wants to join the company acquired in the data acquisition step of the applicant, and the learning model. It is characterized by including an evaluation prediction step for predicting.

請求項13の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。 According to the invention of claim 13, among different learning models, by using a learning model that conforms to the actual situation of the company, it is possible to predict the post-employment evaluation of the applicant for joining the company with high accuracy. Needless to say, the possibility of leaving a job can be predicted with high accuracy in light of the learning model.

本発明によれば、採用しようとする人材の入社後の活躍度を予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことができる。 According to the present invention, it is possible to carry out recruitment activities while predicting the degree of activity of the human resources to be hired after joining the company, and at the same time, it is possible to eliminate as much as possible a mismatch that leads to turnover.

本発明に係る情報処理装置のブロック図である。It is a block diagram of the information processing apparatus which concerns on this invention. 本変形例に係る情報処理装置のブロック図である。It is a block diagram of the information processing apparatus which concerns on this modification. 本発明に係る学習モデル構築・入社後評価予想の処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure of the learning model construction and evaluation prediction after joining a company which concerns on this invention. 図2のフローチャートに対応する本変形例のフローチャートである。It is a flowchart of this modification corresponding to the flowchart of FIG. 本発明の実施例1にかかる実証結果を示す図表である。It is a chart which shows the proof result which concerns on Example 1 of this invention. 本発明の実施例2にかかる実証結果を示す図表である。It is a chart which shows the proof result which concerns on Example 2 of this invention.

(本実施形態)
以下、図面を参照しながら、本発明を実施するための最良の形態(以下、「本実施形態」という)を説明する。以下では、最初に主要用語を定義づけし、その後に具体的な形態の説明を行う。
(This Embodiment)
Hereinafter, the best mode for carrying out the present invention (hereinafter, referred to as “the present embodiment”) will be described with reference to the drawings. In the following, the main terms will be defined first, and then the specific forms will be explained.

<定義>
本明細書における「職務適正試験」とは、入社希望者の能力・適正や人となりを把握する目的で行われる試験のことをいい、「職業適性検査」「職業適性診断」「適性検査」などと呼ばれることもある。一般的には各検査項目の結果をそれぞれ偏差値化したものが結果をして示される。職務適正試験の内容は限定されるものではないが、様々な業者から提供されている公知のもののほか、独自開発したものも用いることができる。前者の業者から提供される職務適正試験には、たとえば、株式会社リクルートマネジメントソリューションズが提供する「SPI」(商標)、日本エス・エイチ・エル株式会社が提供するGAB(商標)、CAB(商標)、玉手箱(商標)、株式会社ヒューマネージが提供するTG-WEB(商標)、一般社団法人日本MBTI協会が提供するMBTI(商標)、e−人事株式会社が提供するCUBICなどがある。本明細書では、このような業者提供の職務適正試験のことを「業者提供試験」ということにする。
<Definition>
The "job aptitude test" in this specification refers to a test conducted for the purpose of grasping the ability / appropriateness and personality of a person who wishes to join the company, such as "occupational aptitude test", "occupational aptitude diagnosis", and "appropriate test". Sometimes called. Generally, the result of each inspection item is shown as a deviation value. The content of the job aptitude test is not limited, but publicly known ones provided by various vendors as well as independently developed ones can be used. For job aptitude tests provided by the former contractor, for example, "SPI" (trademark) provided by Recruit Management Solutions Co., Ltd., GAB (trademark), CAB (trademark) provided by SHL-JAPAN Co., Ltd. , Tamatebako (trademark), TG-WEB (trademark) provided by Humanage Co., Ltd., MBTI (trademark) provided by Japan MBTI Association, CUBIC provided by e-Human Resources Co., Ltd., etc. In the present specification, such a job aptitude test provided by a trader is referred to as a “company-provided test”.

本明細書における「評価」は、基本的に採用を予定している企業(以下、「採用企業」という)内で行われている職務評価、人事評価など名称と問わず様々な評価(以下、「自社評価」という)が含まれ、一般的には社内で項目別に数値化・点数化されているものを用いる。自社評価が数値化・点数化されていないものである企業にあっては、これを数値化・点数化してから用いるとよい。自社評価の評価範囲は、いわゆる職務成績や職務実績・職務適応性などに限定されるものではなく、たとえば、離職などを含めることが好ましい。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。企業内において、既存社員が他の部署へ移動を希望する場合、経験を積むためなどの積極的・発展的理由がある場合はともかく、たとえば今の部署が肌に合わないのでとにかく部署を離れたいという消極的・回避的理由がある場合を考慮することを妨げない。 The "evaluation" in this specification is basically various evaluations (hereinafter, "evaluation") regardless of the name, such as job evaluation and personnel evaluation performed within the company that is scheduled to be hired (hereinafter referred to as "hiring company"). "In-house evaluation") is included, and generally, the one that is quantified and scored for each item in the company is used. For companies whose in-house evaluation is not quantified or scored, it is recommended to use this after quantifying or scoring. The evaluation range of in-house evaluation is not limited to so-called job performance, job performance, job adaptability, etc., and it is preferable to include, for example, turnover. The reason for including turnover is that turnover can be interpreted as having a negative job performance. In a company, if an existing employee wants to move to another department, or if there are positive or developmental reasons such as gaining experience, for example, the current department does not suit my skin, so I just want to leave the department. It does not prevent you from considering the case where there is a negative / avoidant reason.

上記した自社評価とともにもしくは自社評価の代わりとして採用企業は、採用企業とは異なる1又は2以上の他社企業における同じく職務評価等(以下、他社企業における評価を「他社評価」という)を活用することもできる。すなわち、採用企業は、自社評価と他社評価を合わせたものを一つの評価として活用することや、未整備の評価自体が存在しない場合や社員数が極端に少ない場合に他社評価を活用(流用)することができる。このような活用に際して採用企業は、使用者が必要と考えるデータ加工も可能である。他社企業の選択は、格別の条件を伴わず、原則として採用企業の担当者などの本発明の実施者に委ねられる。一般的には、採用企業の特徴(たとえば、業種・規模・収益性・収益モデル・所属する人材・組織の価値観の少なくとも一部)と類似する特徴を有する企業を選択することが好ましい。なぜ好ましいかというと、特徴が類似するほうが、より採用企業の実態に即していると考えられるからである。 In addition to the above-mentioned in-house evaluation or in place of the in-house evaluation, the hiring company shall utilize the same job evaluation, etc. in one or two or more other companies that are different from the hiring company (hereinafter, the evaluation in the other company is referred to as "other company's evaluation"). You can also. In other words, the hiring company uses the combination of its own evaluation and the evaluation of other companies as one evaluation, and uses the evaluation of other companies when there is no undeveloped evaluation itself or when the number of employees is extremely small (diverting). can do. Employers can also process data that users think is necessary for such utilization. The selection of a company of another company is, in principle, left to the practitioner of the present invention, such as the person in charge of the hiring company, without any special conditions. In general, it is preferable to select a company that has characteristics similar to the characteristics of the hiring company (for example, industry, scale, profitability, profit model, human resources to which it belongs, and at least a part of the values of the organization). The reason why it is preferable is that similar characteristics are considered to be more in line with the actual situation of the hiring company.

本明細書における既存社員の「履歴・職務経歴を含む個人経歴データ」とは、既存社員の履歴や職務経歴のほか、たとえば職種、等級(たとえば、平社員、マネージャー、経営層)、配属先部署(たとえば、課単位、部単位、事業部単位で把握することができる)、配属先上司(たとえば、甲課長、乙部長、丙事業部長やこれらの組み合わせで把握することができる)、最終面接までの採用面接の評価点数や評価者などに関するデータ(面接値など)や情報が該当する。これらのすべてを含めなければならないという意味ではないが、これらの一部または全部を含めてもよいし、上記以外のものを含めることを妨げるものでもない。 The “personal career data including history / work history” of existing employees in this specification refers to the history and work history of existing employees, as well as, for example, job type, grade (for example, regular employee, manager, management), and assigned department. (For example, it can be grasped by section unit, department unit, business unit unit), assigned boss (for example, it can be grasped by section manager A, department B, manager 丙 or a combination of these), until the final interview Data (interview value, etc.) and information related to the evaluation score of the hiring interview and the evaluator are applicable. It does not mean that all of these must be included, but some or all of them may be included, nor do they preclude the inclusion of anything other than the above.

本明細書における「教師あり学習」とは、事前に与えられたデータを教師の助言とみなして、それをガイドに学習する一つの機械学習のことをいう。教師あり学習の好適例として、決定木、ランダムフォレスト、ニューラルネットワーク、ディープラーニング、ロジスティック回帰、サポートベクターマシン、ナイーブベイズ、ブースティング、バギングや、これらを組み合わせるなどして構築した独自アルゴリズムがある。もちろん上記以外の教師あり学習の手法をも自由に採用しうることは言うまでもない。 The term "supervised learning" as used herein refers to one machine learning in which data given in advance is regarded as teacher's advice and learned by using it as a guide. Preferable examples of supervised learning include decision trees, random forests, neural networks, deep learning, logistic regression, support vector machines, naive bays, boosting, bagging, and unique algorithms built by combining these. Of course, it goes without saying that supervised learning methods other than the above can be freely adopted.

本明細書では「入社希望者」を広い概念で捉えている。文字通り企業入社を希望する入社前の者のほか、既存社員が他の部署に異動を希望もしくは命令される前の者をも含む。言い換えると、後者の企業内異動における他の部署は前者の企業に該当する。すなわち、ある者が新天地(企業、他の部署)の一員になったとしたら、その新天地においてどの程度活躍できるかということの評価を予測することを目的としている。 In this specification, "applicants for joining the company" are broadly considered. This includes those who have not yet joined the company who literally want to join the company, as well as those who have not yet been ordered or requested to transfer to another department by existing employees. In other words, the other departments in the latter intra-company transfer fall under the former company. In other words, if a person becomes a member of a new world (company, other department), the purpose is to predict the evaluation of how much he / she can play an active role in that new world.

(評価予測装置の概略構成)
図1は、入社希望者(採用前社員)の入社後評価を予測するための評価予測装置(以下、「予測装置」という)の構成例を示す機能ブロック図である。
(Outline configuration of evaluation prediction device)
FIG. 1 is a functional block diagram showing a configuration example of an evaluation prediction device (hereinafter referred to as “prediction device”) for predicting post-employment evaluation of applicants (pre-hiring employees).

予測装置1は、図1の下欄に示すように、たとえば、スマートホン、タブレット型コンピュータ、汎用コンピュータ、ワークステーションなどの情報処理装置であって、内部に組み込まれているため図示は省略するが、中央演算処理装置(CPU)、主メモリ(RAM)、読出し専用メモリ(ROM)、入出力装置(I/O)、及び必要に応じてハードディスク装置等の外部記憶装置(図示を省略)を具備している装置で構成されている。後述するように予測装置1は、学習モデル構築装置(以下、「構築装置」という)の機能を兼ね備えている。また、予測装置1は、1台の装置により構成されなければならないものではなく、ネットワークによって互いに通信可能に接続された複数台の装置によって構成されるものであってもよい。 As shown in the lower column of FIG. 1, the prediction device 1 is, for example, an information processing device such as a smartphone, a tablet computer, a general-purpose computer, or a workstation, and is not shown because it is incorporated therein. , Central processing unit (CPU), main memory (RAM), read-only memory (ROM), input / output device (I / O), and external storage device such as hard disk device (not shown) as needed. It consists of the equipment that is used. As will be described later, the prediction device 1 also has a function of a learning model construction device (hereinafter, referred to as “construction device”). Further, the prediction device 1 does not have to be composed of one device, but may be composed of a plurality of devices that are communicably connected to each other by a network.

上述のROM、もしくは外部記憶装置などには情報処理装置を予測装置1もしくはこれに含まれるとして機能させるためのプログラム、さらに入社後評価予測方法(以下、「予測方法」という)もしくは学習モデル構築方法(以下、「構築方法」という)をコンピュータに実行させるためのプログラムが記憶されている。このようなプログラムを主メモリ上に載せ、CPUがこれを実行することにより予測装置1もしくはこれに含まれる構築装置3が実現され、また予測方法および構築方法が実行される。 In the above-mentioned ROM or external storage device, a program for making the information processing device function as a prediction device 1 or included in the prediction device 1, a post-employment evaluation prediction method (hereinafter referred to as "prediction method"), or a learning model construction method. A program for causing a computer to execute (hereinafter referred to as "construction method") is stored. When such a program is placed on the main memory and executed by the CPU, the prediction device 1 or the construction device 3 included in the prediction device 1 is realized, and the prediction method and the construction method are executed.

また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、磁気ディスク、光ディスク、光磁気ディスク、CD(Compact Disc)、DVD(Digital Video Disc)などのコンピュータ読み取り可能なプログラム記録媒体や、外部の装置(例えば、ASP(Application Service Provider)のサーバなど)、さらにクラウドコンピューティングなどから提供され、これを主メモリに乗せる構成であることを妨げない。以下、具体的に説明する。 Further, the above program does not necessarily have to be stored in the storage device in the information processing device, and computer-readable program recording such as a magnetic disk, an optical disk, a magneto-optical disk, a CD (Compact Disc), or a DVD (Digital Video Disc). It is provided from a medium, an external device (for example, an ASP (Application Service Provider) server, etc.), cloud computing, or the like, and does not prevent the configuration in which this is placed in the main memory. Hereinafter, a specific description will be given.

図1に示す評価予測装置1は、学習モデル構築手段3(以下、「構築手段3」という)と入社後評価予測手段5(以下、「予測手段5」という)と、外付けのマウスやキーボードなどからなる入力装置7と、直接表示のための液晶ディスプレイや間接表示のためのプリンターなどからなる表示装置9と、から基本構成されている。構築手段3は、入社希望者の入社後評価を予測する学習モデルを構築する装置である。予測手段5は、構築手段3が構築した学習モデルを用いて入社希望者の入社後評価を予測する装置である。入力装置7は情報を入力する、表示装置は予想結果などを表示する装置である。処理装置1は、ネットワークNを介して外部と通信して情報のやりとりができるように構成されている。本実施形態では、外部にある業者提供試験データベースから既存社員それぞれの職務適正試験の結果を取り込めるようになっている。 The evaluation prediction device 1 shown in FIG. 1 includes a learning model construction means 3 (hereinafter referred to as “construction means 3”), an evaluation prediction means 5 after joining the company (hereinafter referred to as “prediction means 5”), and an external mouse or keyboard. It is basically composed of an input device 7 including the above, and a display device 9 including a liquid crystal display for direct display and a printer for indirect display. The construction means 3 is a device for constructing a learning model that predicts the post-employment evaluation of applicants for joining the company. The prediction means 5 is a device that predicts the post-employment evaluation of a person who wishes to join the company by using the learning model constructed by the construction means 3. The input device 7 is a device for inputting information, and the display device is a device for displaying an expected result or the like. The processing device 1 is configured to communicate with the outside via the network N and exchange information. In this embodiment, the results of the job aptitude test for each existing employee can be imported from the external vendor-provided test database.

(構築手段の概略構成)
図1に示すように構築手段3は、試験データ取得手段31、評価データ取得手段33、ラベル取得手段35、学習手段37および合致度判定手段39を有し、好ましい態様としてさらに個人経歴データ取得手段38を備えている。そのうえ、既存社員試験情報データベース61、既存社員評価情報データベース62、ラベル情報データベース63、学習モデルデータベース69を有し、好ましい態様として既存社員個人経歴データベース65、及び既存社員面接結果データベース67を備えている。
(Outline configuration of construction means)
As shown in FIG. 1, the construction means 3 includes a test data acquisition means 31, an evaluation data acquisition means 33, a label acquisition means 35, a learning means 37, and a matching degree determination means 39, and as a preferred embodiment, the personal history data acquisition means is further provided. It has 38. In addition, it has an existing employee examination information database 61, an existing employee evaluation information database 62, a label information database 63, and a learning model database 69, and preferably has an existing employee personal history database 65 and an existing employee interview result database 67. ..

試験データ取得手段31は、既存社員試験情報データベース61を含み、既存社員それぞれ(すなわち、個々の既存社員、以下同じ)が所定の職務適正試験を受験した結果を試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース101から業者提供試験結果を取得し、装置内の既存社員試験情報データベース61に検索可能に格納する。 The test data acquisition means 31 includes the existing employee test information database 61, and is a means for each existing employee (that is, an individual existing employee, the same applies hereinafter) to acquire the result of taking a predetermined job aptitude test as test data. is there. In the job aptitude test in the present embodiment, the trader-provided test results are acquired from the trader-provided test result database 101 outside the device and stored in the existing employee test information database 61 in the device so as to be searchable.

評価データ取得手段33は、既存社員評価情報データベース62を含み、既存社員それぞれの社内評価の結果を示す評価データを取得する。取得した評価データは既存社員それぞれと紐づけられて既存社員評価情報データベース62に検索可能に格納される。この評価については先に定義したように、様々な評価が用いられる。 The evaluation data acquisition means 33 includes the existing employee evaluation information database 62, and acquires evaluation data showing the results of internal evaluation of each existing employee. The acquired evaluation data is associated with each existing employee and stored in the existing employee evaluation information database 62 in a searchable manner. As defined above, various evaluations are used for this evaluation.

ラベル取得手段35は、ラベル情報データベース63を含み、先に取得した評価を点数化するなどすることにより、複数の水準(たとえば、H(高い)、M(中間)、L(低い)に分けたものをそれぞれのラベルとして取得する。たとえば、既存社員Aの評価は「H」を、既存社員Bは「M」を、さらに既存社員Cは「L」を、それぞれラベルとして取得する。発明者らの経験則に照らして3段階水準が実用的であるが、2段階でもよいし4段階や5段階、さらにそれ以上の数の段階にしてもよい。取得したラベルは既存社員それぞれと紐づけられてラベル情報データベース63に検索可能に格納される。 The label acquisition means 35 includes the label information database 63, and is divided into a plurality of levels (for example, H (high), M (intermediate), and L (low)) by scoring the evaluation acquired earlier. For example, the evaluation of the existing employee A obtains "H", the existing employee B obtains "M", and the existing employee C obtains "L" as labels. In light of the rule of thumb, the three-step level is practical, but it may be two-step, four-step, five-step, or even more. The acquired label is associated with each existing employee. It is stored searchably in the label information database 63.

学習手段37は、学習モデルデータベース69を含み、試験データ取得手段31が取得した試験データそれぞれと、これらに対応するラベル取得手段35が取得したラベルそれぞれの組を教師データとして教師あり学習を行う。こうして教師あり学習を行うことにより、当該適正試験を受験した入社希望者の入社後評価を予測する学習モデルを構築される。構築された学習モデルは、学習モデルデータベース69に検索可能に格納される。教師あり学習は、少なくとも1種、好ましくは複数種の相異なる手法を用いるとよい。複数種が好ましい理由は、後述する合致度判定手段39の説明の中で述べる。 The learning means 37 includes a learning model database 69, and supervised learning is performed using each set of test data acquired by the test data acquisition means 31 and each set of labels acquired by the corresponding label acquisition means 35 as teacher data. By performing supervised learning in this way, a learning model that predicts the post-employment evaluation of applicants who have taken the aptitude test is constructed. The constructed learning model is stored in the learning model database 69 in a searchable manner. For supervised learning, it is advisable to use at least one, preferably multiple, different methods. The reason why a plurality of types are preferable will be described in the description of the matching degree determining means 39 described later.

個人経歴データ取得手段38は、既存社員個人経歴データベース65および既存社員面接結果データベース67を少なくとも含み、既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得し、既存社員個人経歴データベース65に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に影響を与えていたことが実験的に証明されているので、これらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。なお、既存社員面接結果データベース67に格納されている退職理由も個人経歴に含まれる。退職理由は個人評価と密接に関連するので、これを含めることにより評価の確度をより高くすることができるからである。さらに、既存社員面接結果データベース67に格納されているその既存社員が採用されるまでの面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。 The personal history data acquisition means 38 includes at least the existing employee personal history database 65 and the existing employee interview result database 67, acquires as personal history data including the history and work history of each existing employee, and searches the existing employee personal history database 65. Store as possible. It has been experimentally proved that the history of age, gender, educational background, etc. and the work history such as the job content experienced have influenced the evaluation of the existing employees, so I hope to join the company by taking these into consideration. It is possible to provide a learning model that can predict the degree of prediction of a person's evaluation in more detail. The reason for retirement stored in the existing employee interview result database 67 is also included in the personal career. This is because the reason for retirement is closely related to individual evaluation, and the accuracy of evaluation can be improved by including this. Further, the interview process until the existing employee is hired, which is stored in the existing employee interview result database 67, may be included in the personal career. Who decided to hire and how they decided to hire are other factors that are beyond the control of existing employees, such as compatibility with interviewers and habits and tendencies of scoring, but their effectiveness is also effective. It has been proved by the experiments of the inventors.

合致度判定手段39は、学習手段39が同じ教師データに基づいて複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築した場合に、構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する。合致度を判定することにより、合致度のもっとも高い、すなわち実態に一番則していると推測される学習モデルを選び用いることができる。ここに複数の教師あり学習を行う最大の利点がある。合致度はそれぞれの学習モデルに紐づけされて学習モデルデータベース69に検索可能に格納される。実施する教師あり学習が複数ではなく単数の場合は、その必要がないため合致度判定手段39は稼働しない。 When the learning means 39 constructs a plurality of different learning models by performing a plurality of different supervised learnings based on the same teacher data, the matching degree determining means 39 tests for each of the constructed plurality of learning models. The degree of conformity between each test label output by inputting each of the test data acquired by the data acquisition means and each evaluation label acquired by the label acquisition means is determined. By determining the degree of matching, it is possible to select and use a learning model that has the highest degree of matching, that is, is presumed to be the most conforming to the actual situation. Here is the biggest advantage of multi-supervised learning. The degree of matching is associated with each learning model and stored in the learning model database 69 in a searchable manner. When the supervised learning to be performed is singular rather than plural, the matching degree determination means 39 does not operate because it is not necessary.

(予測手段の概略構成)
図1に示すように予測手段5は、希望者試験データ取得手段51、個人履歴データ取得手段、選定手段55、評価予測手段57、入社希望者履歴データベース71、入社希望者試験情報データベース73、入社希望者社員面接データベース75、入社後評価予測結果データベース77を備えている。
(Outline configuration of forecasting means)
As shown in FIG. 1, the prediction means 5 includes an applicant test data acquisition means 51, an individual history data acquisition means, a selection means 55, an evaluation prediction means 57, a hire applicant history database 71, a hire applicant test information database 73, and a hire. It has a database of interviews with applicants and employees, and a database of evaluation prediction results after joining the company 77.

希望者試験データ取得手段51は、入社前社員試験情報データベース73を含み、入社希望者が所定の職務適正試験を受験した結果を希望者試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース101から業者提供試験結果を取得し、装置内の既存社員試験情報データベース73に検索可能に格納する。 The applicant test data acquisition means 51 includes the pre-employment employee examination information database 73, and is a means for acquiring the result of the applicant for joining the company taking a predetermined job aptitude test as the applicant examination data. In the job aptitude test in the present embodiment, the trader-provided test results are acquired from the trader-provided test result database 101 outside the device and stored in the existing employee test information database 73 in the device so as to be searchable.

希望者履歴データ取得手段53は、入社希望者履歴データベース71および入社希望者面接結果データベース75を少なくとも含み、入社希望者それぞれの履歴・職務経歴を含む個人経歴データとして取得し、入社希望者履歴データベース71に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されているので、入社希望者のこれらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。さらに、希望者面接結果データベース75に格納されている最終面接前の面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。 The applicant history data acquisition means 53 includes at least a recruitment applicant history database 71 and a recruitment applicant interview result database 75, and acquires as personal history data including the history and work history of each applicant, and the recruitment applicant history database. Stored in 71 so as to be searchable. Since it has been experimentally proved that the history of age, gender, educational background, etc. and the work history such as the job content experienced have had a great influence on the evaluation of the existing employees, these of those who wish to join the company are taken into consideration. By doing so, it is possible to provide a learning model that can predict the degree of prediction of the evaluation of prospective employees in more detail. Further, the interview process before the final interview stored in the applicant interview result database 75 may be included in the personal history. Who decided to hire and how they decided to hire are other factors that are beyond the control of existing employees, such as compatibility with interviewers and habits and tendencies of scoring, but their effectiveness is also effective. It has been proved by the experiments of the inventors.

選定手段55は、合致度判定手段39が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する。合致度が高いということは企業の実態にもっとも則した学習モデルと推測されるから、これを選定して使用に供するためである。 The selection means 55 selects the learning model having the highest degree of matching from the degree of matching determined by the degree of matching means 39. A high degree of matching is presumed to be a learning model that most closely matches the actual situation of the company, so this is to be selected and used.

評価予測手段57は、入社希望者基本情報データベース71、入社希望者面接結果データベース75、入社後予測結果データベース77を含み、単数の学習モデルが用いられた場合の当該学習モデル、もしくは複数の学習モデルが用いられた場合の選定手段53によって選定された学習モデルの何れかを用いて入社希望者の入社後評価を予測する。入社前社員の氏名・性別・学歴などの履歴や職務経歴等の基本情報は、入社前社員基本情報データベース71に格納されているので、そこにアクセスすれば取得することができる。予測結果は、その記憶手段である入社後評価予測結果データベース77に検索可能に格納される。 The evaluation prediction means 57 includes a basic information database 71 for applicants to join the company, an interview result database 75 for applicants to join the company, and a prediction result database 77 after joining the company, and the learning model when a single learning model is used, or a plurality of learning models. Is used, any of the learning models selected by the selection means 53 is used to predict the post-employment evaluation of applicants for joining the company. Basic information such as history such as name, gender, and educational background of employees before joining the company and basic information such as work history is stored in the employee basic information database 71 before joining the company, and can be obtained by accessing the database 71. The prediction result is retrievably stored in the post-employment evaluation prediction result database 77, which is the storage means.

(構築方法及び予測方法の実行手順)
図1および2を参照しながら説明する。ここでは、理解しやすくするためこの職務適正試験を、業者提供試験の一つであるSPI(商標)試験とする。他の業者提供試験や独自開発した職務適正試験を排除する趣旨でない。
(Execution procedure of construction method and prediction method)
This will be described with reference to FIGS. 1 and 2. Here, for the sake of clarity, this job aptitude test is referred to as the SPI (trademark) test, which is one of the tests provided by the vendor. It is not intended to exclude tests provided by other vendors or job aptitude tests developed independently.

プログラムが開始されると情報処理装置1の構築手段3(試験データ取得手段)が、職務適正試験に係る既存社員それぞれの「試験データ」を取得する(ステップ1)。試験データの取得は、SPI(商標)試験を提供する株式会社リクルートマネジメントソリューションズが提供する業者提供試験結果データベース101(図1)にアクセスして行う。もし既存社員の中にSPI試験を受験していない者がいたら、好ましくはその者に受験させて試験結果を得るべきだが、たとえば離職者であって連絡がとれないなどの事情があるときは当該離職者を既存社員から除外するとよい。入手した試験情報は、既存社員試験情報データベース61に既存社員それぞれと紐づけされ検索可能に格納される。上記とは別に入力装置7から手入力による一部または全部の試験データを入力するように構成してもよい。この際に適宜試験データを補充したり、修正したりするようにしてもよい。 When the program is started, the construction means 3 (test data acquisition means) of the information processing device 1 acquires "test data" of each existing employee involved in the job aptitude test (step 1). The test data is acquired by accessing the test result database 101 (Fig. 1) provided by Recruit Management Solutions Co., Ltd., which provides SPI (trademark) tests. If any of the existing employees have not taken the SPI test, it is preferable to have that person take the test to obtain the test results, but if there are circumstances such as being a retired employee and unable to contact, this is the case. It is advisable to exclude turnover from existing employees. The obtained test information is linked to each existing employee in the existing employee test information database 61 and stored in a searchable manner. In addition to the above, the input device 7 may be configured to manually input a part or all of the test data. At this time, the test data may be supplemented or modified as appropriate.

次に、既存社員それぞれの評価データを評価データ取得手段33が取得する(ステップ3)。評価データは、既存社員評価情報データベース62や既存社員面接結果データベース67に既存社員それぞれと紐づけされ検索可能に格納されているので、これにアクセスして取得する。評価データそれぞれは数値化されている。なお、上述した手順によるとステップ1が先でステップ3が後になっているが、これとは逆にステップ3を先に処理してもよいし、両ステップを同時処理しても構わない。評価データを、入力装置7を介して入力したり、必要な補充・修正したりすることを妨げない。 Next, the evaluation data acquisition means 33 acquires the evaluation data of each existing employee (step 3). The evaluation data is stored in the existing employee evaluation information database 62 and the existing employee interview result database 67 in a searchable manner in association with each existing employee, and is obtained by accessing this. Each evaluation data is quantified. According to the procedure described above, step 1 is first and step 3 is later, but on the contrary, step 3 may be processed first, or both steps may be processed at the same time. It does not prevent the evaluation data from being input via the input device 7 and necessary replenishment / correction.

取得した評価データそれぞれについては、ラベル取得手段35が、3つの水準(H(高い)、M(中間)、L(低い)に分けたものをそれぞれの評価ラベルとして取得する(ステップ5)。3つの水準としたのは、実務上3つに分けておけば単なる人間の主観的判断に比べ精度が高いということが発明者らの実証実験で確かめられたからである。 For each of the acquired evaluation data, the label acquisition means 35 acquires the data divided into three levels (H (high), M (intermediate), and L (low) as each evaluation label (step 5). The reason for setting this level is that it was confirmed in the empirical experiments of the inventors that the accuracy is higher than the mere subjective judgment of human beings if it is divided into three in practice.

本実施形態では既存社員の「個人経歴データ」を併せて取得している(ステップ7)。個人経歴データを取得するのは、個人経歴データ取得手段38である。個人経歴データは、先に定義した「履歴・職務経歴を含む個人経歴データ」のことであり(後述する入社希望者において同じ)、ステップ1、ステップ3と同時もしくは適宜順に逐次入手することができる。個人経歴データは既存社員個人経歴データベース65に格納されている。 In this embodiment, "personal career data" of existing employees is also acquired (step 7). It is the personal history data acquisition means 38 that acquires the personal history data. The personal career data is the "personal career data including history / work history" defined above (the same applies to those who wish to join the company, which will be described later), and can be obtained simultaneously with or sequentially in steps 1 and 3. .. The personal history data is stored in the existing employee personal history database 65.

次に、ステップ9で教師あり学習の種類を決める。決めるのは情報処理装置1の使用者らであるが、その決定は入力装置7を介して入力される。ただ、この決定は入社後予測をする前の仮の決定である。ここでは、たとえば「試験データ」のみを使用して、木構造を用いて分類や回帰を行う「決定木」で学習モデルを構築する手法を採択したことにする。 Next, in step 9, the type of supervised learning is determined. It is the users of the information processing device 1 who decide, but the decision is input via the input device 7. However, this decision is a tentative decision after joining the company and before making a forecast. Here, for example, it is assumed that a method of constructing a learning model with a "decision tree" that classifies and regresses using a tree structure using only "test data" is adopted.

次は、学習手段37が教師あり学習、すなわち、決定木を用いて予測モデル(学習モデル)を作成する(ステップ11)。具体的には、ステップ1で試験データ取得手段31が取得した試験データそれぞれと、評価データ取得手段33がステップ5において取得した3つの水準(H(高い)、M(中間)、L(低い)に分けたそれぞれの評価ラベルの組みを教師データとして、教師あり学習により予測モデルを構築する。以上により、既存社員の試験データと評価データを用いた学習モデルが構築される。このようにして構築された学習モデルを使って入社後評価を行うのであれば、は後述するステップ21へ直接進むことができる。ここで、一旦、図2のフローチャートから離れて説明する。 Next, the learning means 37 creates supervised learning, that is, a prediction model (learning model) using a decision tree (step 11). Specifically, each of the test data acquired by the test data acquisition means 31 in step 1 and the three levels (H (high), M (intermediate), and L (low) acquired by the evaluation data acquisition means 33 in step 5). A prediction model is constructed by supervised learning using each set of evaluation labels divided into the above as teacher data. From the above, a learning model using the test data and evaluation data of existing employees is constructed. If the evaluation is performed after joining the company using the supervised learning model, can directly proceed to step 21, which will be described later. Here, the description will be made separately from the flowchart of FIG.

ステップ11で採用した「決定木」を用いた教師あり学習の手法は、現在就業中の社員とともに離職した元社員の試験データと評価データを加味したものであることから、確度の高い学習モデルを提供するものはあるが、教師あり学習の手法の利点を損なうことなくより確度を高める余地がないわけではない。それは、上記例でいう試験データのみを用いた決定木とは異なる手法の機械学習を同条件下で行い、それらの結果を比較して最善のものを選択することである。この点を次項以下で説明する。 The supervised learning method using the "decision tree" adopted in step 11 is based on the examination data and evaluation data of former employees who left the job together with the currently working employees, so a highly accurate learning model can be used. There is something to offer, but it is not without room for greater accuracy without compromising the benefits of supervised learning techniques. It is to perform machine learning of a method different from the decision tree using only the test data in the above example under the same conditions, compare the results, and select the best one. This point will be described in the following sections.

図2のフローチャートに戻る。予測装置5の評価予測手段55は、先に構築した予測モデルを用いて入社後評価を予測する(ステップ13)。この予測結果の精度ないし確度が所定のレベルかどうかを選定手段53に判断させる(ステップ15)。ここで念のための意味を含め予測精度が十分ではないと判断されたときは、ステップ9に戻り「決定木」以外の、たとえば、「ランダムフォレスト」等を用い、「決定木」と同じ手順で予測精度を判断させる(ステップ17)。「ランダムフォレスト」のところで精度十分と判断できたなら、ステップ19へ進みこの場合の「ランダムフォレスト」を「最適予想モデル」(学習モデル)に選定する。この場合、所定の精度を超えるものが得られたとしても、さらに高精度のものがあるかもしれないという推定のもとに、異なる教師あり学習(たとえば、ニューラルネットワークやディープラーニングなど)を行って相異なる学習モデルを構築し、これらの学習モデルそれぞれについてステップ15の判断をさせるようにしてもよい。 Return to the flowchart of FIG. The evaluation prediction means 55 of the prediction device 5 predicts the evaluation after joining the company using the prediction model constructed earlier (step 13). The selection means 53 is made to determine whether the accuracy or accuracy of the prediction result is at a predetermined level (step 15). If it is determined that the prediction accuracy is not sufficient, including the meaning just in case, return to step 9 and use a procedure other than the "decision tree", for example, "random forest", in the same procedure as the "decision tree". To determine the prediction accuracy (step 17). If it is determined that the accuracy is sufficient at the "random forest", the process proceeds to step 19 and the "random forest" in this case is selected as the "optimal prediction model" (learning model). In this case, different supervised learning (eg, neural networks, deep learning, etc.) is performed based on the assumption that even if the accuracy exceeds a certain level, there may be a higher accuracy. Different learning models may be constructed and the judgment of step 15 may be made for each of these learning models.

上記のように複数の学習モデルを用意してそれぞれを検証するようにするのは、「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっているからである。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索するのである。この手法によれば、相異なる教師あり学習による学習モデルのそれぞれを検証することにより、より企業実態に即した最適予想モデルを選定することができ、ひいては、確度の高い入社後予測を行うことにつながる。なお、最適予想モデルは、これを使用者が入力装置7を介して適宜補足・修正を加えることができる。たとえば、病気のため長期療養したため実績が上げられなかったとか、特定の上司との相性が非常に悪かったとかというマイナス面を考慮した修正を加えたり、同僚からの信頼が厚いことからリーダーシップの能力があるとかいったプラス面を踏まえた加筆をしたりすることもできる。 The reason why multiple learning models are prepared and verified as described above is that algorithms such as "decision tree" and "random forest" have different accuracy depending on the type and number of data used. Because I know. In order to compensate for the decrease in accuracy due to this difference, a more accurate learning model is searched for for each algorithm by using a method in which the type and number of data used are changed. According to this method, by verifying each of the learning models by different supervised learning, it is possible to select the optimum prediction model that is more in line with the actual situation of the company, and by extension, it is possible to make highly accurate post-employment prediction. Connect. It should be noted that the optimum prediction model can be appropriately supplemented / modified by the user via the input device 7. For example, the ability of leadership to make corrections in consideration of the downsides such as the fact that the results were not achieved due to long-term medical treatment due to illness or that the compatibility with a specific boss was very bad, and the trust of colleagues is strong. It is also possible to make additions based on the positive side such as there is.

ステップ19で最適予想モデルを選定しところで、希望者試験データ取得手段51は、入社前社員試験情報データベースにアクセスして入社希望者の試験データを取得する(ステップ21)。ステップ21はステップ17とステップ19の間に実行してもよいし、これらと同時に実行してもよい。 By the way, when the optimum prediction model is selected in step 19, the applicant test data acquisition means 51 accesses the pre-employee employee examination information database and acquires the examination data of the applicant for joining the company (step 21). Step 21 may be executed between steps 17 and 19, or may be executed at the same time.

次いで、希望者履歴データ取得手段53が、入社希望者履歴データベース71および希望者面接結果データベース75にアクセスして入社希望者の履歴、職務経歴、最終面接に至るまでの面接経緯などに係るデータを取得する(ステップ23)。ステップ23のデータ取得は、ステップ19、ステップ21の前でもよいし、これらと同時に実行することができる。年齢・性別・学歴などの履歴や経験した職務内容(新卒者の場合は、インターンシップやボランティア活動など)などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されていることは前述したとおりであり、このことは入社希望者についても同じである。このような履歴データを取り込むことにより、それなしのときはできなかった部署別の評価などきめ細かな評価が可能となる。 Next, the applicant history data acquisition means 53 accesses the applicant history database 71 and the applicant interview result database 75 to obtain data related to the history of applicants, work history, interview process leading up to the final interview, and the like. Acquire (step 23). The data acquisition in step 23 may be performed before or before steps 19 and 21, and can be executed at the same time. Experimentally, the history of age, gender, educational background, and work experience (in the case of new graduates, internships, volunteer activities, etc.) had a great influence on the evaluation of existing employees. It has been proved as mentioned above, and this also applies to applicants for joining the company. By importing such historical data, it becomes possible to make detailed evaluations such as evaluations by department, which would not have been possible without it.

上述のとおり必要なデータ・情報が揃ったところで、評価予測手段55が入社希望者の希望者試験データそれぞれと最適予想モデル(学習モデル)とに基づいて、当該入社希望者の入社後評価を予測する(ステップ25)。予測結果は、表示手段9に表示される(ステップ27)。これにてプログラムが終了する。表示手段に表示されることにより、これを観た使用者(予想者)は、入社希望者それぞれの入社後の予想評価を知ることになり、これにともなって採用者選択の有力な手がかりを得ることができる。 When the necessary data and information are prepared as described above, the evaluation prediction means 55 predicts the post-employment evaluation of the applicant for joining the company based on each of the applicant test data of the applicant for joining the company and the optimum prediction model (learning model). (Step 25). The prediction result is displayed on the display means 9 (step 27). This ends the program. By being displayed on the display means, the user (expected person) who sees this will know the expected evaluation after joining the company, and along with this, will get a powerful clue for selecting the employer. be able to.

上述した最適予想モデルは、既存社員が属する企業における入社後評価のためのものであるが、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業の入社後評価のために使用してもよい。このことは立場を変えると、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業において上記手法で構築した学習モデルを自分の企業の入社後評価のために使用できるということになる。また、業種・業態が少なくとも同一・類似であることなどを条件とするが、社員数の比較的少ない複数の企業全体を一体化させて一つの統合企業とみなし、その統合企業の中でこれまで述べてきた学習モデルの構築と入社後評価の予想を行うこともできよう。この点は、後述する本変形例を参照されたい。 The above-mentioned optimal forecast model is for post-employment evaluation in a company to which existing employees belong, but for post-employment evaluation of other companies that have the same or similar corporate environment such as industry, business type, and scale. May be used for. From a different standpoint, it is said that the learning model constructed by the above method can be used for post-employment evaluation of one's own company in another company that has the same or similar corporate environment such as industry, business type, and scale. It will be. In addition, on the condition that the type of business and business type are at least the same or similar, all of the multiple companies with a relatively small number of employees are integrated and regarded as one integrated company, and so far among the integrated companies. It will be possible to build the learning model described above and predict the evaluation after joining the company. For this point, refer to this modification described later.

先に定義したように本明細書では「入社希望者」を広い概念で捉えているので、既存社員が他の部署に異動を希望もしくは命令される前の者をも含むものである。したがって、上述の手順で構築した学習モデルや入社後評価は、企業内で異動なり配転等により部署を変わろうとする者に対し、部署変更後評価を予測することにも使用可能であることを付言しておく。 As defined above, since this specification considers "applicants to join the company" in a broad concept, it also includes those who have not yet been ordered or requested to transfer to another department by existing employees. Therefore, it is added that the learning model and post-employment evaluation constructed by the above procedure can also be used to predict post-department evaluation for those who are moving within the company and are going to change departments due to transfer etc. I will do it.

(本実施形態の変形例)
図2を参照しながら、本実施形態の変形例(以下、「本変形例」という)について説明する。図2に示す評価予測装置1´(以下、「予測装置1´」という)が図1に示す予測装置1と基本構造1´と異なるのは、予測装置1´が有する他社既存社員データベース103を予測装置1が有しない点と、予測装置1が行わなかった他社既存社員データベース103から得るデータの処理を予測装置1´の学習モデル構築手段3´(以下、「構築手段3´」という)が行う点の2点である。この2点を除き、評価装置1と評価委装置1Aは共通する。このため、この共通部分については、図1で用いた符号を図2においても使用し、これらの説明は可能な範囲で省略する。
(Modified example of this embodiment)
A modified example of the present embodiment (hereinafter, referred to as “the present modified example”) will be described with reference to FIG. The evaluation prediction device 1'(hereinafter referred to as" prediction device 1'" shown in FIG. 2 is different from the prediction device 1 shown in FIG. 1 and the basic structure 1'in that the other company's existing employee database 103 owned by the prediction device 1'is used. The learning model construction means 3'(hereinafter referred to as" construction means 3'" of the prediction device 1') handles the points that the prediction device 1 does not have and the processing of the data obtained from the existing employee database 103 of another company that the prediction device 1 did not perform. There are two points to do. Except for these two points, the evaluation device 1 and the evaluation committee device 1A are common. Therefore, for this common part, the reference numerals used in FIG. 1 are also used in FIG. 2, and these explanations will be omitted to the extent possible.

構築手段3と比較した構築手段3´は、採用企業の自社データとともに、後述する他社試験データを処理する機能を併有する。このため、図1に示す符号や名称をそのまま図2に示す。すなわち、構築手段3´は、試験データ取得手段(他社試験データ取得手段)31、評価データ取得手段(他社評価データ取得手段)33、ラベル取得手段(他社ラベル取得手段)35、学習手段37および合致度判定手段39を有し、好ましい態様としてさらに個人経歴データ取得手段38を備えている。 The construction means 3'compared with the construction means 3 has a function of processing the in-house data of the adopting company and the test data of another company, which will be described later. Therefore, the reference numerals and names shown in FIG. 1 are shown in FIG. 2 as they are. That is, the construction means 3'contains with the test data acquisition means (other company's test data acquisition means) 31, the evaluation data acquisition means (other company's evaluation data acquisition means) 33, the label acquisition means (other company's label acquisition means) 35, and the learning means 37. The degree determination means 39 is provided, and as a preferred embodiment, the personal history data acquisition means 38 is further provided.

図2において他社既存社員データベース103は、本実施形態で対象とした採用企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)のそれぞれが所定の職務適正試験を受験した結果を他社データとして格納しており、ネットワークNを介して予測装置1´と通信可能に接続されている。試験データ取得手段31は、他社既存社員データベース103から他社既存社員が受けた職務適正試験の結果(他社試験データ)を取得し既存社員試験情報データベース61に検索可能に格納する。評価データ取得手段33は、他社既存社員データベース103から他社既存社員それぞれの社内評価の結果を示す他社評価データを取得し既存社員評価情報データベースに検索可能に格納する。 In FIG. 2, the existing employee database 103 of other companies is defined by each of the current or past employees of one or more other companies (hereinafter referred to as “existing employees of other companies”) different from the hiring companies targeted in this embodiment. The result of taking the job aptitude test is stored as the data of other companies, and is communicably connected to the prediction device 1'via the network N. The test data acquisition means 31 acquires the result of the job suitability test (test data of another company) received by an existing employee of another company from the existing employee database 103 of another company and stores it in the existing employee test information database 61 in a searchable manner. The evaluation data acquisition means 33 acquires other company's evaluation data indicating the result of internal evaluation of each other company's existing employee from the other company's existing employee database 103, and stores it in the existing employee evaluation information database in a searchable manner.

ここで図2とともに、本変形例に関係する図4を説明対象とする。図4のフローチャートと図3のフローチャートが異なるのは、本実施形態(図3)には含まれない、他社データを取得する三つのステップ、すなわち、ステップ9´、ステップ10およびステップ10´を有する点だけであるので、これらについて解説する。ステップ9の後に設けられたステップ9´では、試験データ取得手段31が採用企業において、入社希望者を評価するための学習モデルを構築するために十分な量(人数)のデータがあるかを確認する。十分な量のデータは、業種・業態・企業規模や社会状況などによって変化するものであり使用者の判断に委ねられるが、たとえば一つの組織で30人に満たない場合は十分とはいえないであろう。データ量が十分であればそのままステップ11に進む。 Here, together with FIG. 2, FIG. 4 related to this modification will be described. The difference between the flowchart of FIG. 4 and the flowchart of FIG. 3 is that it has three steps, that is, step 9', step 10 and step 10', which are not included in the present embodiment (FIG. 3) and acquire data of other companies. Since there are only points, I will explain these. In step 9'provided after step 9, it is confirmed whether the test data acquisition means 31 has a sufficient amount (number of people) of data in the hiring company to build a learning model for evaluating applicants for joining the company. To do. A sufficient amount of data changes depending on the type of business, business type, company size, social situation, etc. and is left to the judgment of the user, but for example, if one organization has less than 30 people, it is not enough. There will be. If the amount of data is sufficient, the process proceeds to step 11 as it is.

一方、ステップ10においてデータ量が不十分であれば、既存社員試験情報手段31はデータベース61にアクセスして他社試験データを取得し、これに自社社員の試験データと合併したデータを作成する(ステップ10´)。これと併せて評価データ取得手段33は、既存社員評価情報データベース62にアクセスして他社評価データを取得し(ステップ10)、これに自社社員の評価データと合併したデータを作成(ステップ10´)してからステップ11に進む。上記三つのステップの前のステップ、同じく後のステップは、本実施形態における処理と同じ処理が行われる。ここで、自社データがまったく存在しない場合は、すべてを他社データで賄うことになる。なお、重要なことは、特に他社データを扱う際に、個人情報などの秘匿性のあるもののセキュリティに十分に注意すべきことである。 On the other hand, if the amount of data is insufficient in step 10, the existing employee test information means 31 accesses the database 61 to acquire the test data of another company, and creates data combined with the test data of the company's employee (step). 10'). At the same time, the evaluation data acquisition means 33 accesses the existing employee evaluation information database 62 to acquire the evaluation data of other companies (step 10), and creates data combined with the evaluation data of the company's employees (step 10'). Then proceed to step 11. The steps before and after the above three steps are the same as the processes in the present embodiment. Here, if the company's data does not exist at all, all the data of other companies will be used. It is important to pay sufficient attention to the security of confidential information such as personal information, especially when handling data from other companies.

<本実施例1>
図5を参照しながら、本発明に係る構築方法・評価予測方法を用いて行った実証例を示す。まず本実施例1では、Webサービス企業、不動産業、IT関連企業、人材業および建築業を対象業種として実証を行った。既存社員数や利用した職務適正試験等と、その結果は図5に示すとおりである。正解(合致)率・予測精度をみると、Webサービス企業について正解率59.3%・予測精度(Kappa係数、以下同じ)0.24、同じく不動産業について正解率60.0%・予測精度0.31、IT関連企業について正解率62.4%・予測精度0.41、同じく人材業について正解率51.0%・予測精度0.26、さらに同じく建築業では正解率68.9%・予測精度0.45であった。
<Example 1>
With reference to FIG. 5, a demonstration example performed using the construction method / evaluation prediction method according to the present invention is shown. First, in the first embodiment, a demonstration was conducted targeting a Web service company, a real estate industry, an IT-related company, a human resources industry, and a construction industry. The number of existing employees, the job aptitude test used, and the results are shown in Fig. 5. Looking at the correct answer (match) rate and prediction accuracy, the correct answer rate is 59.3% for Web service companies, the prediction accuracy (Kappa coefficient, the same applies hereinafter) 0.24, and the correct answer rate is 60.0% for the real estate industry, and the prediction accuracy is 0. .31. Correct answer rate 62.4% / prediction accuracy 0.41 for IT-related companies, correct answer rate 51.0% / prediction accuracy 0.26 for human resources industry, and correct answer rate 68.9% / prediction for construction industry The accuracy was 0.45.

<本実施例2>
一方、図6は、不動産業とIT関連業2社の、退職予測正解率と予測精度を示す。既存社員数や利用した職務適正試験等と、その結果は図6に示すとおりである。退職予測における正解(合致)率・予測精度は不動産業について正解率91.0%・予測精度(Kappa係数、以下同じ)0.33・再現率61.5%、同じくIT関連業(約1000名)において正解率87.7%・予測精度0.14・再現率49.1%、同じくIT関連業(約300名)において正解率89.7%・予測精度0.30・再現率72.7%であった。
<Present Example 2>
On the other hand, FIG. 6 shows the retirement prediction accuracy rate and prediction accuracy of the real estate industry and the IT-related industry. The number of existing employees, the job suitability test used, and the results are shown in Fig. 6. Correct answer (match) rate and prediction accuracy in retirement prediction are 91.0% correct answer rate for real estate industry, prediction accuracy (Kappa coefficient, the same applies hereinafter) 0.33, recall rate 61.5%, and IT related industry (about 1000 people) ), Correct answer rate 87.7%, prediction accuracy 0.14, recall rate 49.1%, and also in IT-related industry (about 300 people), correct answer rate 89.7%, prediction accuracy 0.30, recall rate 72.7. %Met.

<本実施例1の評価>
本実施例ではラベルをH(高い)、M(中間)、L(低い)の3段階水準を用いたため、学習モデルを用いない予測の場合には、正解率が約33%(3分の1)となる。各実証例において、合致率は約33%を大きく上回る結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また各実証例は、企業規模、業界、用いる職務適性試験に違いがあるが、同様に本手法を用いることで、評価予測が有効であることが示されている。加えて、各職務適性試験データ以外に「所属」や「職種」のデータを用いることで、より合致率・予測精度(Kappa係数、次項以下で説明)が高まっている。職務適性試験データのみでも、十分に有用な結果が得られることが示されているが、「個人経歴データ」を加え、複数の学習モデルを構築し、最適予想モデルを選択することで、より精度の高い学習モデルを構築できることが確認でき、本手法が十分に実用的であることがわかった。
<Evaluation of Example 1>
In this embodiment, the labels used are three levels of H (high), M (intermediate), and L (low). Therefore, in the case of prediction without using the learning model, the accuracy rate is about 33% (one-third). ). In each empirical example, the match rate is much higher than about 33%, and it can be confirmed that the evaluation prediction using the learning model is effective. In addition, although there are differences in the company size, industry, and job aptitude test used in each empirical example, it has been shown that evaluation prediction is effective by using this method in the same way. In addition, by using the data of "affiliation" and "job type" in addition to the data of each job aptitude test, the matching rate and prediction accuracy (Kappa coefficient, explained in the following section) are further improved. Although it has been shown that job aptitude test data alone can provide sufficiently useful results, it is more accurate by adding "personal background data", constructing multiple learning models, and selecting the optimal prediction model. It was confirmed that a high learning model can be constructed, and it was found that this method is sufficiently practical.

Kappa係数について付言する。Kappa係数は、元々「二者が1つの対象を観測した際に、判断が一致しているか否か」を確認するために作られた指標であって、値が1に近いほど一致度が高いことを意味する。このKappa係数について著名な論文「Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174.」は、0.0〜0.2: わずかに一致(slight agreement)、0.21〜0.40 まずまずの一致(fair agreement)、0.41〜0.60 中等度の一致(moderate agreement)、0.61〜0.80 かなりの一致(substantial agreement)、および0.81〜1.0 ほぼ完全、完全一致(almost perfect or perfect agreement)という基準を示している。 I will add about the Kappa coefficient. The Kappa coefficient is an index originally created to confirm "whether or not the judgments match when two parties observe one object", and the closer the value is to 1, the higher the degree of agreement. Means that. A well-known paper on this Kappa coefficient, "Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33 (1): 159-174.", 0.0-0.2: Slight agreement. , 0.21 to 0.40 fair agreement, 0.41 to 0.60 moderate agreement, 0.61 to 0.80 substantial agreement, and 0.81 to 1.0 almost perfect or perfect agreement ) Is shown.

ここで図5に戻り本実証例が示すKappa係数を考察すると、一番小さいWebサービス企業でさえも0.24を、不動産業では0.31を示し両者ともに「まずまずの一致」を示している。さらに、一定の予測精度が示されている。さらにIT関連企業にあっては0.41で「中程度の一致」の基準に達している。もとより本実証例は、過去の検証ではなく未来予測であるため、「完全一致」であるはずがなく「傾向がある(=まずまずの一致以上の程度)」だけでも、十分な結果であると考えられる。よって、本手法が十分に実用的であることが改めて確認された。 Looking back at FIG. 5 and considering the Kappa coefficient shown in this demonstration example, even the smallest Web service company shows 0.24, and the real estate industry shows 0.31, both showing "reasonable agreement". Furthermore, a certain degree of prediction accuracy is shown. Furthermore, for IT-related companies, 0.41 has reached the standard of "moderate agreement". Of course, since this demonstration example is a future prediction rather than a past verification, it cannot be an "exact match", and it is considered that a "tendency (= more than a reasonable match)" is a sufficient result. Be done. Therefore, it was reconfirmed that this method is sufficiently practical.

<本実施例2の評価>
本実施例1では自社評価を、H(高い)、M(中間)、L(低い)という3つの水準に分けたものを評価レベルとしたのに対し、図6に示す本実施例2に関する退職を予測する実証例では、ラベルを「退職」と「在職」の2段階水準を用いた。すなわち、自社の社員それぞれの他社データ試験データと、同社員それぞれの「退職」と「在職」の組を教師データとして教師あり学習を行った結果である。
<Evaluation of Example 2>
In the first embodiment, the in-house evaluation was divided into three levels, H (high), M (intermediate), and L (low), and the evaluation level was defined. On the other hand, the retirement related to the second embodiment shown in FIG. In the empirical example of predicting, the label used was a two-level level of "retirement" and "employment". In other words, it is the result of supervised learning using the data test data of other companies for each employee of the company and the pair of "retirement" and "employment" of each employee as teacher data.

「退職」の割合については、業種・雇用形態などによって異なるが、おおむね10%前後の値となることが多い。そのため学習モデルを用いないモデルの場合には、再現率(次項以下で説明)が10%前後となる。各実証例における再現率は10%を大きく結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また前述の実証例と同様に、企業規模、業界、用いる職務適性試験が異なっても本手法が有効であること、各職務適性試験データ以外に「等級」や「職種」のデータを用いることで、正解率・Kappa係数・再現率が高まることが示されている。 The percentage of "retirement" varies depending on the type of industry and employment type, but it is often around 10%. Therefore, in the case of a model that does not use a learning model, the recall rate (explained in the next section and below) is around 10%. The recall rate in each empirical example is as large as 10%, and it can be confirmed that the evaluation prediction using the learning model is effective. In addition, as in the above-mentioned demonstration example, this method is effective even if the company size, industry, and job aptitude test used are different, and by using data of "grade" and "job type" in addition to each job aptitude test data. , The correct answer rate, Kappa coefficient, and recall rate have been shown to increase.

退職予測の「再現率」について付言する。「再現率」は、「退職」と予測した人のうち、実際に「退職」した人の割合を示す値である。再現率が高ければ高いほど、「退職」する人を見極められていると考えることができる。例えば、「再現率」が高ければ、「退職と予測したが実際に退職しない人の割合」が低いため、「退職」を防止するための施策を「退職しない人」に対して行う確率が低くなり、実際に「退職する人のみ」に対し、効率的に施策を実施することが可能になる。 I would like to add to the "recall rate" of retirement forecasts. The “recall rate” is a value indicating the percentage of those who actually “retired” among those who predicted “retirement”. It can be considered that the higher the recall rate, the more the person who "retirs" is identified. For example, if the "recovery rate" is high, the "percentage of people who predicted retirement but do not actually retire" is low, so the probability of taking measures to prevent "retirement" for "people who do not retire" is low. Therefore, it becomes possible to efficiently implement measures for "only those who retire".

実施例2に関する退職予測における再現率(図6の図表最右欄参照)を考察すると、最も大きいものが同図表最下欄のIT関連企業(営業社員のみ300人)の72.7%で、次が同図表最上覧の不動産業(新卒者のみ約300人)の61.5%である。最も小さい再現率でさえ、同図表中断に示すもう一つのIT関連業(社員数約1000人)の49.1%となっている。以上の実証結果から「退職」と予測した人のうち、約2人に1人が実際に退職していることがわかる。今回の対象企業の実際の退職率も10%前後であり、再現率49.1%は、実際の退職率の4倍以上の確率で退職者を予測できていることになる。これは実際の「退職」を防止するための施策を講じる際の効率が、4倍以上になることを示しており、本手法が実用的であることがわかる。 Considering the recall rate in the retirement forecast for Example 2 (see the rightmost column of the chart in Fig. 6), the largest one is 72.7% of the IT-related companies (300 sales employees only) in the bottom column of the chart. Next is 61.5% of the real estate industry (about 300 new graduates only) at the top of the chart. Even the smallest recall rate is 49.1% of the other IT-related industry (about 1000 employees) shown in the chart interruption. From the above empirical results, it can be seen that about 1 in 2 people who predicted "retirement" actually retired. The actual retirement rate of the target company this time is also around 10%, and the recall rate of 49.1% means that the retirement rate can be predicted with a probability more than four times the actual retirement rate. This shows that the efficiency of taking measures to prevent actual "retirement" is more than four times higher, which shows that this method is practical.

以上述べた実施例1と実施例2は、自社データのみを対象とした本実施形態についてのものである。一方、自社データに他社データを合併させた合併データ、もしくは、他社データのみからなるデータ(自社データをゼロとしたときの他社データとの合併データ)を対象とした場合も、他社の業種・業態等が採用企業のそれらと近似するなら上記実施例1や2と同様もしくは近似する結果が得られるものと推測される。 The first and second embodiments described above are for the present embodiment in which only the company's data is targeted. On the other hand, when targeting merged data obtained by merging other companies'data with own data, or data consisting only of other companies' data (merged data with other companies' data when the company's data is set to zero), the industry / business type of the other company If etc. are similar to those of the adopting company, it is presumed that the same or similar result as that of Examples 1 and 2 above can be obtained.

1 評価予測装置
1´ 評価予測装置
3 学習モデル構築装置(構築装置)
3´ 本変形例に係る学習モデル構築装置(構築装置)
5 入社後評価予測装置(予測装置)
31 試験データ取得手段(他社試験データ取得手段)
33 評価データ取得手段(他社評価データ取得手段)
35 ラベル取得手段
37 学習手段
38 個人経歴データ取得手段
39 合致度判定手段
51 希望者試験データ取得手段
53 選定手段
55 評価予測手段
57 面接データ取得手段
61 既存社員試験情報データベース
62 既存社員評価情報データベース
63 ラベル情報データベース
65 既存社員個人経歴データベース
67 既存社員面接結果データベース
69 学習モデルデータベース
71 入社前基本情報データベース
73 入社前試験情報データベース
75 入社前社員面接データベース
77 入社後評価予測結果データベース
101 業者提供試験結果データベース
103 他社既存社員データベース
N ネットワーク
1 Evaluation prediction device 1'Evaluation prediction device 3 Learning model construction device (construction device)
3'Learning model construction device (construction device) related to this modification
5 Post-employment evaluation prediction device (prediction device)
31 Test data acquisition means (other companies' test data acquisition means)
33 Evaluation data acquisition means (evaluation data acquisition means of other companies)
35 Label acquisition means 37 Learning means 38 Personal background data acquisition means 39 Matching degree judgment means 51 Applicant examination data acquisition means 53 Selection means 55 Evaluation prediction means 57 Interview data acquisition means 61 Existing employee examination information database 62 Existing employee evaluation information database 63 Label information database 65 Existing employee personal history database 67 Existing employee interview result database 69 Learning model database 71 Pre-employment basic information database 73 Pre-employment examination information database 75 Pre-employment employee interview database 77 Post-employment evaluation prediction result database 101 Contractor-provided test result database 103 Existing employee database of other companies N network

Claims (13)

採用を予定している企業(以下、「採用企業」という)の現在又は過去の社員(以下、「既存社員」という)それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得手段と、
当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段と、
当該評価データ取得手段が取得した当該評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段と、当該試験データ取得手段が取得した試験データそれぞれと、これらに対応する当該ラベル取得手段が取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習手段と、を備え、
当該評価データは、当該既存社員の離職をマイナス評価したデータである、ことを特徴とする学習モデル構築装置。
Test data to acquire the results of each current or past employee (hereinafter referred to as "existing employee") of the company scheduled to be hired (hereinafter referred to as "hiring company") to take the prescribed job aptitude test as test data. Acquisition method and
Evaluation data acquisition means to acquire evaluation data showing the results of internal evaluation of each existing employee,
The evaluation data acquired by the evaluation data acquisition means is divided into three levels of H (high), M (intermediate), and L (low), and the label acquisition means for acquiring each evaluation label and the test. By supervised learning using each set of test data acquired by the data acquisition means and each set of labels acquired by the corresponding label acquisition means as supervised data, the appropriateness is desired to join the hiring company. It is equipped with a learning means to build a learning model for post-employment evaluation prediction of applicants who have taken the exam.
The evaluation data is a learning model construction device characterized in that the evaluation data is data in which the turnover of the existing employee is negatively evaluated.
前記既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得手段を、さらに備え、
前記学習手段は、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うように構成されている
ことを特徴とする請求項1記載の学習モデル構築装置。
Further equipped with a means for acquiring personal history data to be acquired as personal history data including the history and work history of each of the existing employees.
Claim 1 is characterized in that the learning means is configured to perform supervised learning using the group to which the personal history data of each of the existing employees acquired by the personal history data acquisition means is added as teacher data. The described learning model construction device.
前記学習手段は、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築するように構成され、
そのうえ、
前記学習手段が構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する合致度判定手段が設けられている
ことを特徴とする請求項1または2いずれか記載の学習モデル構築装置。
The learning means is configured to construct a plurality of different learning models by performing a plurality of different supervised learning using the teacher data as teacher data.
Besides,
The degree of matching between each test label output by inputting each test data acquired by the test data acquisition means into each of the plurality of learning models constructed by the learning means and each evaluation label acquired by the label acquisition means is determined. A matching degree determination means for determination is provided.
The learning model building apparatus according to claim 1 or 2, wherein the learning model is constructed.
前記採用企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、
当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、をさらに備え、
前記ラベル取得手段は、前記評価データ取得手段が取得した評価データ(自社評価データ)に当該他社評価データ取得手段が取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する
ことを特徴とする請求項1ないし3いずれか記載の学習モデル構築装置。
Other companies'examinations in which current or past employees of one or more other companies (hereinafter referred to as "existing employees of other companies"), which are different from the above-mentioned hiring companies, acquire the results of taking the prescribed job aptitude examination as other company's examination data. Data acquisition method and
Further equipped with another company's evaluation data acquisition means to acquire other company's evaluation data showing the results of internal evaluation of each existing employee of the other company.
The label acquisition means is obtained by dividing each of the merged data, which is a combination of the evaluation data (in-house evaluation data) acquired by the evaluation data acquisition means and the evaluation data of another company acquired by the evaluation data acquisition means of the other company, into a plurality of levels. , The learning model construction apparatus according to any one of claims 1 to 3, wherein the data is acquired as each evaluation label.
採用企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、
当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、
当該他社評価データ取得手段が取得した当該他社評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得手段と、
当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習手段と、
を備え、
当該評価データは、当該既存社員の離職をマイナス評価したデータである、
ることを特徴とする学習モデル構築装置。
Other company's test data that acquires the results of each current or past employee (hereinafter referred to as "existing employee of another company") of one or more other companies, which is different from the hiring company, taking the prescribed job aptitude test as other company's test data Acquisition method and
Other company's evaluation data acquisition means to acquire other company's evaluation data showing the results of other company's internal evaluation of each existing employee of the other company,
Each of the other company's evaluation data acquired by the other company's evaluation data acquisition means is divided into three levels of H (high), M (intermediate), and L (low), and the other company's label acquisition means is acquired as each evaluation label. ,
Joined the hiring company by supervised learning using each set of other company's test data acquired by the other company's test data acquisition means and each set of labels acquired by the other company's label acquisition means corresponding to these as other company's teacher data. A learning method of other companies that builds a learning model for post-employment evaluation prediction of applicants who have taken the above-mentioned aptitude test in hopes of
With
The evaluation data is data that negatively evaluates the turnover of the existing employee.
A learning model construction device characterized by the fact that
請求項1、2、4および5のいずれか記載の学習モデル構築装置で構築した学習モデルを用いた入社後評価予測装置であって、
採用前社員が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、
当該希望者試験データ取得手段が取得した採用前社員の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備える
ことを特徴とする入社後評価予測装置。
A post-employment evaluation prediction device using a learning model constructed by the learning model construction device according to any one of claims 1, 2, 4, and 5.
Applicant test data acquisition means for pre-hiring employees to acquire the results of taking the prescribed job aptitude test as applicant test data,
It is characterized by being provided with an evaluation prediction means for predicting the post-employment evaluation of the applicant for joining the company based on each of the applicant examination data of the pre-employment employee acquired by the applicant examination data acquisition means and the learning model. Post-employment evaluation prediction device.
請求項3記載の学習モデル構築装置で構築した複数の学習モデルを用いた入社後評価予測装置であって、
入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、
前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定手段と、
当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備える
ことを特徴とする入社後評価予測装置。
A post-employment evaluation prediction device using a plurality of learning models constructed by the learning model construction device according to claim 3.
Applicant test data acquisition means for acquiring the results of the applicants taking the prescribed job aptitude test as applicant test data, and
A selection means for selecting the learning model with the highest degree of matching from the degree of matching determined by the matching degree determining means, and
It is characterized by being provided with an evaluation prediction means for predicting the post-employment evaluation of the applicant for joining the company based on each of the applicant examination data of the applicant for joining the company acquired by the applicant examination data acquisition means and the learning model. Post-employment evaluation prediction device.
コンピュータによって実行される入社後評価予測方法であって、
採用を予定している企業(以下、「採用企業」という)の現在又は過去の社員(以下、「既存社員」という)それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得ステップと、
当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得ステップと、
当該評価データ取得ステップで取得した当該評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得ステップと、
当該試験データ取得ステップで取得した試験データそれぞれと、これらに対応する当該ラベル取得ステップで取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習ステップと、
を備え、
当該評価データは、当該既存社員の離職をマイナス評価したデータである、
ことを特徴とする学習モデル構築方法。
It is a post-employment evaluation prediction method executed by a computer.
Test data to acquire the results of each current or past employee (hereinafter referred to as "existing employee") of the company scheduled to be hired (hereinafter referred to as "hiring company") to take the prescribed job aptitude test as test data. Acquisition step and
Evaluation data acquisition step to acquire evaluation data showing the result of internal evaluation of each existing employee,
A label acquisition step in which each of the evaluation data acquired in the evaluation data acquisition step is divided into three levels of H (high), M (intermediate), and L (low) is acquired as each evaluation label.
We hope to join the hiring company by supervised learning using each set of test data acquired in the test data acquisition step and each set of labels acquired in the corresponding label acquisition step as teacher data. Learning steps to build a learning model for post-employment evaluation prediction of applicants who have taken the aptitude test, and
With
The evaluation data is data that negatively evaluates the turnover of the existing employee.
A learning model construction method characterized by this.
当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得ステップを、さらに備え、
前記学習ステップでは、当該個人経歴データ取得ステップで取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行う
ことを特徴とする請求項8記載の学習モデル構築方法。
Further equipped with a personal history data acquisition step to be acquired as personal history data including the history and work history of each existing employee.
The learning model construction method according to claim 8, wherein in the learning step, supervised learning is performed using the group in which the personal history data of each of the existing employees acquired in the personal history data acquisition step is added as teacher data. ..
他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、
当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、をさらに備え、
前記ラベル取得ステップでは、前記評価データ取得ステップで取得した評価データに当該他社評価データ取得ステップで取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する
ことを特徴とする請求項8または9いずれか記載の学習モデル構築方法。
The other company's test data acquisition step to acquire the results of each existing employee of another company taking the prescribed job aptitude test as other company's test data,
Further equipped with another company's evaluation data acquisition step to acquire other company's evaluation data showing the results of internal evaluation of each existing employee of the other company.
In the label acquisition step, each evaluation label is obtained by dividing each of the merged data, which is a combination of the evaluation data acquired in the evaluation data acquisition step and the evaluation data of another company acquired in the evaluation data acquisition step of the other company, into a plurality of levels. The learning model construction method according to any one of claims 8 or 9, wherein the data is acquired as.
コンピュータによって実行される入社後評価予測方法であって、
採用を予定している企業とは異なる、1又は2以上の他社企業の現在又は過去の社員(以下、「他社既存社員」という)それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、
当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、
当該他社評価データ取得ステップで取得した当該他社評価データそれぞれをH(高い)、M(中間)、L(低い)の3水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得ステップと、
当該他社試験データ取得ステップで取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得ステップで取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習ステップと、
を備え、
当該評価データは、当該既存社員の離職をマイナス評価したデータである、
ることを特徴とする学習モデル構築方法。
It is a post-employment evaluation prediction method executed by a computer.
The results of each current or past employee of one or more other companies (hereinafter referred to as "existing employees of other companies"), which is different from the company scheduled to be hired, have taken the prescribed job aptitude test as other company test data. Other companies' test data acquisition steps to be acquired and
Other company's evaluation data acquisition step to acquire other company's evaluation data showing the result of each other company's internal evaluation of each existing employee of the other company,
The other company's label acquisition step, in which each of the other company's evaluation data acquired in the other company's evaluation data acquisition step is divided into three levels of H (high), M (intermediate), and L (low), is acquired as each evaluation label. ,
Joined the hiring company by supervised learning using each of the other company's test data acquired in the other company's test data acquisition step and the corresponding set of labels acquired in the other company's label acquisition step as supervised learning. Other companies' learning steps to build a learning model for post-employment evaluation prediction of applicants who took the above-mentioned aptitude test in hopes of
With
The evaluation data is data that negatively evaluates the turnover of the existing employee.
A learning model construction method characterized by the fact that.
前記学習ステップでは、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築し、
そのうえ、
前記学習ステップで構築した複数の学習モデルそれぞれに前記試験データ取得ステップで取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得ステップで取得した評価ラベルそれぞれとの合致度を判定する合致度判定ステップが設けられている
ことを特徴とする請求項8または9のいずれか記載の学習モデル構築方法。
In the learning step, a plurality of different learning models are constructed by performing a plurality of different supervised learning using the teacher data as teacher data.
Besides,
The degree of matching between each of the test labels output by inputting each of the test data acquired in the test data acquisition step into each of the plurality of learning models constructed in the learning step and each of the evaluation labels acquired in the label acquisition step is determined. A matching degree determination step for determination is provided.
The learning model construction method according to any one of claims 8 or 9, wherein the learning model is constructed.
請求項12記載の学習モデル構築方法で構築した複数の学習モデルを用いた入社後評価予測方法であって、
入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得ステップと、
前記合致度判定ステップで判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定ステップと、
当該希望者試験データ取得ステップで取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測ステップと、を備える
ことを特徴とする入社後評価予測方法。
A post-employment evaluation prediction method using a plurality of learning models constructed by the learning model construction method according to claim 12.
Applicant test data acquisition step to acquire the result of the applicant who wants to join the company taking the prescribed job aptitude test as applicant test data, and
A selection step for selecting the learning model with the highest degree of matching from the degree of matching determined in the matching degree determination step, and
It is characterized by including an evaluation prediction step for predicting the post-employment evaluation of the applicant for joining the company based on each of the applicant examination data of the applicant for joining the company acquired in the data acquisition step for the applicant for joining the company and the learning model. Post-employment evaluation prediction method.
JP2019114985A 2018-11-05 2019-06-20 Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method Active JP6762584B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018208134 2018-11-05
JP2018208134 2018-11-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020137067A Division JP6786143B1 (en) 2018-11-05 2020-08-14 Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method

Publications (2)

Publication Number Publication Date
JP2020077361A JP2020077361A (en) 2020-05-21
JP6762584B2 true JP6762584B2 (en) 2020-09-30

Family

ID=70724180

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019114985A Active JP6762584B2 (en) 2018-11-05 2019-06-20 Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method
JP2020137067A Active JP6786143B1 (en) 2018-11-05 2020-08-14 Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020137067A Active JP6786143B1 (en) 2018-11-05 2020-08-14 Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method

Country Status (1)

Country Link
JP (2) JP6762584B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154473A (en) * 2019-03-18 2020-09-24 ヤフー株式会社 Estimation device, estimation method, and estimation program
CN111695680B (en) * 2020-06-15 2023-11-10 北京百度网讯科技有限公司 Score prediction method, score prediction model training method and device and electronic equipment
CN111798059B (en) * 2020-07-10 2023-11-24 河北冀联人力资源服务集团有限公司 Off-duty prediction system and method
CN111967729A (en) * 2020-07-28 2020-11-20 兰笺(苏州)科技有限公司 Industrialized personnel portrait evaluation method based on data mining
CN112116264A (en) * 2020-09-24 2020-12-22 北京易华录信息技术股份有限公司 Activity evaluation method and apparatus
JP7497449B2 (en) * 2020-09-24 2024-06-10 ミイダス株式会社 How to match employers with job seekers
CN112257777B (en) * 2020-10-21 2023-09-05 平安科技(深圳)有限公司 Off-duty prediction method and related device based on hidden Markov model
WO2023042287A1 (en) * 2021-09-15 2023-03-23 日本電気株式会社 Recruitment support device, recruitment support method, and recruitment support program

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030110071A1 (en) * 2000-06-30 2003-06-12 Taio Sugahara Talented person diagnosis supporting method, and talented person diagnosis supporting system
JP2003248763A (en) * 2002-02-25 2003-09-05 Nec Corp Employment mediation system, method, and program
JP4548574B2 (en) * 2003-11-13 2010-09-22 株式会社イー・ファルコン Method for presenting conditions for leading members to success, apparatus therefor, and program
JP4009632B2 (en) * 2004-11-01 2007-11-21 有限会社 上野ビジネスコンサルタンツ Inspection method, inspection system, inspection system program, and inspection system server device
JP2009266039A (en) * 2008-04-25 2009-11-12 Zeus Enterprise:Kk Recruitment necessary/unnecessary determination system, method, and program
US20120123956A1 (en) * 2010-11-12 2012-05-17 International Business Machines Corporation Systems and methods for matching candidates with positions based on historical assignment data
WO2017168458A1 (en) * 2016-03-28 2017-10-05 日本電気株式会社 Prediction model selection system, prediction model selection method, and prediction model selection program
WO2018042546A1 (en) * 2016-08-31 2018-03-08 株式会社オプティム Application data classification system, application data classification method and program
WO2018042547A1 (en) * 2016-08-31 2018-03-08 株式会社オプティム Response data selecting system, response data selecting method and program
JP6839342B2 (en) * 2016-09-16 2021-03-10 富士通株式会社 Information processing equipment, information processing methods and programs
JP2018147280A (en) * 2017-03-07 2018-09-20 株式会社日立ソリューションズ Data analysis device and data analysis method
CN107993019B (en) * 2017-12-12 2022-07-22 北京字节跳动网络技术有限公司 Resume evaluation method and device
CN108256827A (en) * 2018-01-10 2018-07-06 广东轩辕网络科技股份有限公司 Target job analysis method and system

Also Published As

Publication number Publication date
JP6786143B1 (en) 2020-11-18
JP2020077361A (en) 2020-05-21
JP2020191131A (en) 2020-11-26

Similar Documents

Publication Publication Date Title
JP6762584B2 (en) Learning model construction device, post-employment evaluation prediction device, learning model construction method and post-employment evaluation prediction method
Yu et al. Antecedents and outcomes of artificial intelligence adoption and application in the workplace: the socio-technical system theory perspective
Hirschi The fourth industrial revolution: Issues and implications for career research and practice
Gaur et al. Strengthening people analytics through wearable IOT device for real-time data collection
Soliman et al. The impact of workplace spirituality on lecturers' attitudes in tourism and hospitality higher education institutions
Kumar et al. Critical success factors of knowledge management: modelling and comparison using various techniques
Yadav et al. Harnessing artificial intelligence to empower hr processes and drive enhanced efficiency in the workplace to boost productivity
Hassan et al. Retention approaches of millennial at private sector: Mediating role of job embeddedness
Newaz et al. Do employees' attributes and capabilities matter the intention to become a supply chain manager? Structural model analysis
Tapasco-Alzate et al. Work productivity management in knowledge-intensive service companies: considerations and challenges
Kumar et al. Assessment of Agile manufacturing impact on business performance of Indian manufacturing industry: A PLS-SEM approach
Jawad et al. Enablers and barriers to the successful implementation of project control systems in the petroleum and chemical industry
Mammadova et al. Fuzzy multi-scenario approach to decision-making support in human resource management
Khan Development of employability framework through skill-discrepancy method: a perspective of LIS interns and librarians in the University of Peshawar, Pakistan
JP2022111059A (en) Information processing system, information processing method, information processing device and program
Müller et al. Lean and job satisfaction: the mediating role of how employees perceive implemented lean methods
Islam et al. Artificial intelligence in human resource management
Khaowisade et al. The Development of Talent Acquisition Process in Industrial Business Sector to Cope with Digital Technology Change
Košir et al. Some aspects of the relationship between talent management and service quality components in Egyptian law firms
Aguirre et al. Instrument for measuring intentions to leave
Tabatabaei A new model for evaluating the impact of organizational culture variables on the success of knowledge management in organizations using the TOPSIS multi-criteria algorithm: Case study
Mikušová et al. The identification of crisis manager skills by using Saaty’s method
Islam et al. Practices of artificial intelligence to improve the business in Bangladesh
Ruohonen Business benefits of leveraging predictive analytics in HR
Filketu et al. Developing a quality function deployment model for the Ethiopian leather industry: Requirements and solutions under linguistic variables

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190624

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R150 Certificate of patent or registration of utility model

Ref document number: 6762584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250