JP7217372B1 - 学習モデルの生成方法、コンピュータプログラム及び情報処理装置 - Google Patents

学習モデルの生成方法、コンピュータプログラム及び情報処理装置 Download PDF

Info

Publication number
JP7217372B1
JP7217372B1 JP2022036456A JP2022036456A JP7217372B1 JP 7217372 B1 JP7217372 B1 JP 7217372B1 JP 2022036456 A JP2022036456 A JP 2022036456A JP 2022036456 A JP2022036456 A JP 2022036456A JP 7217372 B1 JP7217372 B1 JP 7217372B1
Authority
JP
Japan
Prior art keywords
information
learning model
evaluation
company
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022036456A
Other languages
English (en)
Other versions
JP2023131602A (ja
Inventor
一真 阿部
励 佐々木
綾 戸上
玄太 鈴木
ウィングキット チャン
拓朗 佐藤
マシュー アルバート トゥンド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Exa Wizards Inc
Original Assignee
Exa Wizards Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Exa Wizards Inc filed Critical Exa Wizards Inc
Priority to JP2022036456A priority Critical patent/JP7217372B1/ja
Application granted granted Critical
Publication of JP7217372B1 publication Critical patent/JP7217372B1/ja
Publication of JP2023131602A publication Critical patent/JP2023131602A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】企業等による人材採用を支援することが期待できる学習モデルの生成方法、情報処理方法、コンピュータプログラム及び情報処理装置を提供する。【解決手段】情報処理システムにおいて、情報処理装置であるサーバ装置1は、社員の入社前における複数の項目の情報を含む入社前情報と、社員の入社後における評価情報とを端末装置3から取得し、取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、生成した学習モデルに基づいて、当該学習モデルが出力する評価情報に対する項目の影響度を算出し、算出した項目の影響度を出力する。情報処理装置は、入社前情報に含まれる項目に関する評価値と、評価値毎に該当する社員数と、を対応付けて出力してもよい。【選択図】図2

Description

本発明は、入社後の評価を予測するための学習モデルの生成方法、コンピュータプログラム及び情報処理装置に関する。
企業にとって人材採用は重要であり、できるだけ自社で活躍できる人材を多く採用することが望まれる。しかし、採用前の段階で採用の候補者が自社で活躍できるか否かを判断することは難しい。
特許文献1においては、採用を予定している企業の現在又は過去の社員夫々が職務適正試験を受験した結果を試験データとして取得し、既存社員それぞれの社内評価の結果を示す評価データを取得し、評価データそれぞれを複数の水準に分けたものをそれぞれの評価ラベルとして取得し、試験データそれぞれとこれらに対応するラベルそれぞれの組みを教師データとして教師あり学習を行うことにより、入社希望者の入社後評価を予測する学習モデルを構築する学習モデル構築装置が提案されている。
特開2020-191131号公報
特許文献1に記載の学習モデル構築装置が構築した学習モデルを用いることで、入社希望者の入社後評価を予測することが期待できる。学習モデルの予測は100%の精度で行われるわけではないため、学習モデルの予測結果のみに基づいて採用の可否を決定することは難しく、学習モデルの予測結果と人事担当者等による評価結果とを兼ね合わせて最終的な採用の可否を決定することが行われ得る。しかし学習モデルによる予測は、その予測結果がどのような要因によって導き出されたものであるかを人事担当者等が把握することが難しい。また学習モデルによる予測結果を人事担当者等が行う評価にフィードバックすることは難しい。
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、企業等による人材採用を支援することが期待できる学習モデルの生成方法、コンピュータプログラム及び情報処理装置を提供することにある。
一実施形態に係る学習モデルの生成方法は、情報処理装置が、社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、算出した前記項目の影響度を出力前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する
一実施形態による場合は、企業等による人材採用を支援することが期待できる。
本実施の形態に係る情報処理システムの構成を説明するための模式図である。 本実施の形態に係るサーバ装置の構成を示すブロック図である。 本実施の形態に係る端末装置の構成を示すブロック図である。 学習用データの一例を説明するための模式図である。 本実施の形態に係る学習モデルの構成を説明するための模式図である。 学習モデルの生成結果に関する情報の表示例を示す模式図である。 学習モデルの生成結果に関する情報の表示例を示す模式図である。 学習モデルの生成結果に関する情報の表示例を示す模式図である。 本実施の形態に係るサーバ装置が行う学習モデル生成処理の手順を示すフローチャートである。 本実施の形態に係る端末装置が行う学習モデル生成処理の手順を示すフローチャートである。 端末装置が表示する予測結果の一例を示す模式図である。 本実施の形態に係るサーバ装置が行う予測処理の手順を示すフローチャートである。 本実施の形態に係る端末装置が行う予測処理の手順を示すフローチャートである。
本発明の実施形態に係る情報処理システムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
<システム構成>
図1は、本実施の形態に係る情報処理システムの構成を説明するための模式図である。本実施の形態に係る情報処理システムは、例えば企業の人事担当者等のユーザに対して、この企業の社員に関する情報に基づいて採用候補者の入社後の評価を予測する学習モデル5を生成すると共に、生成した学習モデル5を用いて採用候補者の評価を予測するサービスを提供する。本実施の形態に係る情報処理システムは、学習モデル5の生成及び学習モデル5を用いた評価等のサービスを提供するサーバ装置1と、このサービスを利用するユーザが使用する一又は複数の端末装置3とを備えて構成されている。
サーバ装置1は、本サービスの提供会社等が管理運営する装置であり、インターネット等のネットワークを介して一又は複数の端末装置3との通信を行い、端末装置3に対して上記のサービスを提供するための種々の情報処理を行う。端末装置3は、例えば企業の人事担当者等が使用するパーソナルコンピュータ等の情報処理装置であり、スマートフォン又はタブレット型端末装置等の可搬型の情報処理装置であってよい。
ユーザは、企業に所属する社員について蓄積された様々な情報、例えば社員の入社前における種々の情報(入社前情報)と、この社員の入社後の評価に関する情報(評価情報)とを収集し、収集したこれらの社員の情報に基づいて学習用データを端末装置3にて作成する。学習用データには、例えば入社前の採用段階で社員が提出した学歴、文理区分及び部活動の種別等の情報、並びに、入社前に行われた採用試験の結果及び適性検査の結果等の情報が含まれ得る。また学習用データには、例えば入社後の所定のタイミング(例えば1年後~数年後)において社員を人事担当者又は所属部門の上司等が評価した結果に関する情報が含まれ得る。ユーザは、端末装置3にて作成した学習用データをサーバ装置1へ送信し、サーバ装置1に学習モデル5の生成を依頼することができる。
端末装置3から学習モデルの生成依頼を受けたサーバ装置1は、端末装置3から送信される学習用データを取得し、取得した学習用データから学習モデル5を生成する機械学習の処理を行うための教師データを生成する。例えばサーバ装置1は、入社前の社員に関する種々の情報を適宜に数値化し、数値化したこれらの情報と、この社員の入社後の所定タイミングにおける評価とを対応付けた教師データを生成する。サーバ装置1は、生成した教師データを用いて機械学習の処理を行うことによって、入社前における対象者の情報を入力として受け付けて、入社後における対象者の評価を予測する学習モデル5を生成する。
なお本実施の形態において教師データに含まれる入社後の社員の評価に関する情報は、社員が高評価であるか否かの二値情報とするが、これに限るものではない。入社後の社員の評価は、例えば高評価、中評価及び低評価の3段階で行われたものであってよく、また4段階以上で行われたものであってよい。また本実施の形態においては、生成した学習モデル5をサーバ装置1が保持するものとするが、これに限るものではなく、生成した学習モデル5をサーバ装置1が端末装置3へ送信してもよい。
また本実施の形態においてサーバ装置1は、生成した学習モデル5に基づき、学習済みの学習モデル5が出力する評価について、この学習モデル5へ入力される情報に含まれる種々の項目の影響度を算出する。例えば学習モデル5へ入力する情報に学歴、採用試験の結果及び適性検査の結果等の項目が含まれる場合に、学習モデル5が出力する評価にこれらの項目がどの程度の影響を与えるかをサーバ装置1は算出する。サーバ装置1は、学習モデル5の生成を依頼した端末装置3に対して、学習モデル5の生成が完了した旨の通知と、生成した学習モデル5について出力の評価に対する入力の各項目の影響度の算出結果の情報とを含む生成結果を送信する。サーバ装置1から生成結果を受信した端末装置3は、学習モデル5の生成が完了した旨をユーザに通知すると共に、入力の各項目の影響度に関する情報を表示してユーザに提示する。
サーバ装置1による学習モデル5の生成が完了した後、ユーザは、採用の候補となっている対象者についての入社前情報を収集し、収集した情報に基づいて評価予測用データを作成する。評価予測用データは、学習用データから入社後の評価に関する情報を除いた形式のデータである。ユーザは、端末装置3にて作成した評価予測用データをサーバ装置1へ送信し、サーバ装置1に学習モデル5を用いた対象者の評価予測を依頼することができる。
端末装置3から評価予測の依頼を受けたサーバ装置1は、端末装置3から送信される評価予測用データを取得し、取得した評価予測用データから学習モデル5へ入力するための入力データを生成する。例えばサーバ装置1は、学習用データから教師データを生成する際に行ったものと同様の処理で、評価の対象者に関する情報を数値化することで入力データを生成する。サーバ装置1は、生成した入力データを学習済の学習モデル5に対して入力し、学習モデル5が出力する出力データを取得する。学習モデル5は、対象者が入社後に高評価を得るか否かを示すデータを出力する。また学習モデルが出力するデータには、対象者が入社後に高評価を得ることについての確信度(確率、尤度等)の情報が含まれていてもよい。
また本実施の形態においてサーバ装置1は、対象者の入社後の評価について予測すると共に、この予測結果に対して入力情報に含まれる種々の項目の影響度を算出し、予測結果により大きな影響を与えた項目がいずれであるかを特定する。サーバ装置1は、例えば学歴、採用試験の結果及び適性検査の結果の3つの項目が対象者に関する情報として学習モデル5へ入力される場合に、予測結果に対して大きな影響を与えた入力情報が学歴、採用試験の結果及び適性検査の結果のいずれであるかを、各項目の影響度に基づいて特定する。サーバ装置1は、採用候補者等の対象者が入社後に高評価を得るか否か、又は、高評価を得ることについての確信度等の予測結果と、この予測結果に対して大きな影響を与えた項目の特定結果とを含む予測結果を、評価予測の依頼を行った端末装置3に対して送信する。サーバ装置1から予測結果を受信した端末装置3は、予測結果を表示部に表示してユーザに提示する。
<装置構成>
図2は、本実施の形態に係るサーバ装置1の構成を示すブロック図である。本実施の形態に係るサーバ装置1は、処理部11、記憶部(ストレージ)12及び通信部(トランシーバ)13等を備えて構成されている。なお本実施の形態においては、1つのサーバ装置にて処理が行われるものとして説明を行うが、複数のサーバ装置が分散して処理を行ってもよい。
処理部11は、CPU(Central Processing Unit)、MPU(Micro-Processing Unit)、GPU(Graphics Processing Unit)又は量子プロセッサ等の演算処理装置、ROM(Read Only Memory)及びRAM(Random Access Memory)等を用いて構成されている。処理部11は、記憶部12に記憶されたサーバプログラム12aを読み出して実行することにより、端末装置3から取得したデータに基づいて学習モデル5を生成する処理、及び、生成した学習モデル5を用いて入社前の対象者の入社後の評価を予測する処理等の種々の処理を行う。
記憶部12は、例えばハードディスク等の大容量の記憶装置を用いて構成されている。記憶部12は、処理部11が実行する各種のプログラム、及び、処理部11の処理に必要な各種のデータを記憶する。本実施の形態において記憶部12は、処理部11が実行するサーバプログラム12aを記憶する。また記憶部12は、機械学習の処理により生成した学習モデル5を記憶する。
本実施の形態においてサーバプログラム(コンピュータプログラム、プログラム製品)12aは、メモリカード又は光ディスク等の記録媒体99に記録された態様で提供され、サーバ装置1は記録媒体99からサーバプログラム12aを読み出して記憶部12に記憶する。ただし、サーバプログラム12aは、例えばサーバ装置1の製造段階において記憶部12に書き込まれてもよい。また例えばサーバプログラム12aは、遠隔の他のサーバ装置等が配信するものをサーバ装置1が通信にて取得してもよい。例えばサーバプログラム12aは、記録媒体99に記録されたものを書込装置が読み出してサーバ装置1の記憶部12に書き込んでもよい。サーバプログラム12aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体99に記録された態様で提供されてもよい。
記憶部12に記憶される学習モデル5には、学習モデル5がどのような構成であるかを示す構成情報、及び、機械学習の処理により決定された学習モデル5の内部パラメータの値が含まれ得る。
通信部13は、携帯電話通信網、無線LAN(Local Area Network)及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部13は、ネットワークNを介して、一又は複数の端末装置3との間で通信を行う。通信部13は、処理部11から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部11へ与える。
なお記憶部12は、サーバ装置1に接続された外部記憶装置であってよい。またサーバ装置1は、複数のコンピュータを含んで構成されるマルチコンピュータであってよく、ソフトウェアによって仮想的に構築された仮想マシンであってもよい。またサーバ装置1は、上記の構成に限定されず、例えば可搬型の記憶媒体に記憶された情報を読み取る読取部、操作入力を受け付ける入力部、又は、画像を表示する表示部等を含んでもよい。
また本実施の形態に係るサーバ装置1には、記憶部12に記憶されたサーバプログラム12aを処理部11が読み出して実行することにより、学習用データ取得部11a、教師データ生成部11b、学習モデル生成部11c、評価予測用データ取得部11d及び予測処理部11e等が、ソフトウェア的な機能部として処理部11に実現される。なお本図においては、処理部11の機能部として、学習モデル5を生成する処理及び入社後の評価を予測する処理に関連する機能部を図示し、これ以外の処理に関する機能部は図示を省略している。
学習用データ取得部11aは、ユーザが使用する端末装置3から、ユーザが作成した学習用データを取得する処理を行う。学習用データ取得部11aは、通信部13にて端末装置3との通信を行い、学習モデル5の生成依頼と共に端末装置3から送信される学習用データを受信して、記憶部12に一時的に記憶する。
教師データ生成部11bは、端末装置3から取得した学習用データに対して、例えば学習用データに含まれる数値情報の正規化、文字情報の数値化、画像情報の数値化、文章情報のベクトル化、欠損情報の補完等の種々の前処理を施すことによって、機械学習に用いる教師データを生成する。本実施の形態において学習用データには、社員の入社前の種々の情報(入社前情報)と、この社員の入社後の評価情報とが含まれる。社員の入社前の情報には、例えば社員の最終学歴、文理区分、出身大学の種別(国公立又は私立等)、体育会に在籍していたか否か、出身中学校の種別(公立又は私立等)、出身中学校の所在地、出身高校の種別(公立又は私立等)、出身高校の所在地、部活動の種別(体育会系又は文科系等)、入社前に社員が提出した履歴書等に記載された情報、対象者が提出した文章情報(例えば学生時代に頑張ったこと、など)、採用試験(筆記試験)の結果(得点)、又は、適性検査の結果等の種々の情報が含まれ得る。社員の入社後の評価情報は、例えば社員が高評価であるか否かを示す二値の情報であり、本実施の形態においては高評価であることをハイパフォーマと呼び、高評価でないことをミドルパフォーマと呼ぶ。なお本実施の形態においては評価情報をハイパフォーマ及びミドルパフォーマの二値の情報とするが、これに限るものではなく、評価情報は例えばハイパフォーマ、ミドルパフォーマ及びローパフォーマの三値であってもよく、例えば四値以上の情報であってよく、また例えば段階的な値ではなく連続値であってもよい。教師データ生成部11bは、学習用データに含まれる社員の入社前の情報を入力とし、社員の入社後の評価情報をラベル(出力)として対応付けたものを教師データとして生成する。教師データ生成部11bは、生成した教師データを記憶部12に記憶する。
学習モデル生成部11cは、教師データ生成部11bが生成した教師データを用いた機械学習の処理を行うことにより、学習モデル5を生成する処理を行う。学習モデル生成部11cは、いわゆる教師あり学習の機械学習を行う。本実施の形態に係る学習モデル5は、入社前の対象者の情報を入力として受け付けて、この対象者の入社後の評価を示す情報(例えばハイパフォーマであるか否かの二値情報)を出力する学習モデルである。まず学習モデル生成部11cは、端末装置3から取得した学習用データに含まれる情報の数及び種類等に応じて学習モデル5の入出力情報数を決定し、決定した入出力情報数に応じた構成の未学習の学習モデルを生成する。次いで学習モデル生成部11cは、教師データ生成部11bが生成した教師データを記憶部12から読み出して機械学習の処理を行うことにより、未学習の学習モデルの内部のパラメータを決定し、決定したパラメータを記憶部12に学習モデル5として記憶する。学習モデルの教師あり学習の処理は、既存の技術であるため詳細な説明は省略するが、学習モデル生成部11cは、例えば勾配降下法、確率的勾配降下法又は誤差逆伝播法等の手法により学習モデルの学習を行うことができる。
本実施の形態においてサーバ装置1が生成する学習モデル5は、決定木の構成が採用される。決定木の構成の学習モデルには、例えばXGBoost(eXtreme Gradient Boosting)、LightGBM(Light Gradient Boosting Machine)又はランダムフォレスト等を含み得る。決定木の構成の学習モデル5は、学習モデル5の出力に対する入力情報の影響度(重要度、寄与度)を算出することが可能である。ただし、学習モデル5の構成は決定木に限るものではなく、例えばSVM(Support Vector Machine)又はニューラルネットワーク等の構成であってもよい。また入力情報の影響度の算出は、例えばAttention、LIME(Local Interpretable Model-agnostic Explanations)又はSHAP(SHapley Additive exPlanations)等のXAI(eXplainable Artificial Intelligence)技術を用いて行ってもよい。
学習モデル生成部11cは、機械学習により生成した学習モデル5の構造及び内部パラメータ等に基づいて、学習モデル5に対する入力情報の影響度を算出する。学習モデル生成部11cは、例えば決定木の構造の学習モデル5について、決定木の分岐条件に用いられている入力情報がいずれであるか、及び、入力情報の分岐条件に用いられる頻度等を調べることにより、入力情報の影響度を算出することができる。学習モデル生成部11cは、学習モデル5の生成が完了した後、学習モデル5の生成を依頼した端末装置3へ生成が完了したことを通知すると共に、算出した影響度に関する情報を送信する。サーバ装置1からこれらの情報を受信した端末装置3は、生成された学習モデル5について重要な入力情報がいずれであるかをユーザに提示することができ、これらの情報に基づいてユーザは例えば入社前の情報のどのような項目が入社後の評価に対して影響を与える可能性が高いかを分析することができる。
又は、学習モデル生成部11cは、学習モデル5の生成に用いた学習用データに含まれる各社員のデータついて、入力情報(社員の入社前の情報)を学習モデル5へ入力した場合にこの学習モデル5が出力する出力情報(社員の入社後の評価)を取得すると共に、この出力情報に対する入力情報の各項目のSHAP値(シャープレイ値)を算出してもよい。学習モデル生成部11cは、学習用データに含まれる全社員のデータについて入力情報の各項目のSHAP値を算出し、項目毎にSHAP値の平均値又は合計値等を算出したものを入力情報の影響度としてもよい。なおSHAP値は、学習モデルに対する各入力情報が出力情報に対してどの程度の影響を与えたかを示す数値である。SHAP値の算出は既存の技術であるため、算出方法の詳細な説明は省略する。
評価予測用データ取得部11dは、ユーザが使用する端末装置3から、ユーザが作成した評価予測用データを取得する処理を行う。評価予測用データ取得部11dは、通信部13にて端末装置3との通信を行い、対象者の評価依頼と共に端末装置3から送信される評価予測用データを受信して、記憶部12に一時的に記憶する。評価予測用データ取得部11dが端末装置3から取得する評価予測用データは、端末装置3から取得した学習用データと略同じ構成のデータであるが、入社後の評価情報は含まれていない。評価予測用データに含まれる情報は、企業に就職を希望している人又は企業に採用される候補となっている人等のような企業に入社する前の人についての情報であり、これらの人を採用した場合の入社後の評価を予測したいと人事担当者等のユーザが判断した人についての情報である。
予測処理部11eは、評価予測用データ取得部11dが取得した評価予測用データと、学習モデル生成部11cが生成した学習済の学習モデル5とを用いて、評価予測用データに含まれる対象者の入社後の評価を予測する処理を行う。予測処理部11eは、評価予測用データ取得部11dが取得したデータに対して、教師データ生成部11bが学習用データに対して行った前処理と同じ処理を行って、学習モデル5への入力データを生成する。予測処理部11eは、生成した入力データを学習済の学習モデル5へ入力し、学習モデル5が出力する出力データを取得する。出力データは、入力データに係る対象者の入社後の評価の予測結果であり、例えば対象者が入社後にハイパフォーマとなるか否かを示す二値情報である。ただし学習モデル5は、例えば入社後にハイパフォーマとなることの確信度を示す0~1の範囲の数値を予測結果として出力してもよい。
また予測処理部11eは、対象者の入社後の評価の予測結果について、その結果に関与した入力データに含まれる複数の項目の影響度(重要度、寄与度)を算出する。本実施の形態に係る情報処理システムでは、評価予測用データに含まれる各対象者について学習モデル5による入社後の評価を予測すると共に、この予測結果に対する入力データの各項目のSHAP値を影響度として算出する。予測処理部11eは、対象者の入社後の評価について学習モデル5を用いた予測を行う都度、学習モデル5の予測結果に対する影響度が高い入力データの項目がいずれであるかを算出し、対象者の入社前情報に含まれる複数の項目のいずれが評価の予測結果に対して重要であるかを示す情報を端末装置3へ送信する。
図3は、本実施の形態に係る端末装置3の構成を示すブロック図である。本実施の形態に係る端末装置3は、処理部31、記憶部(ストレージ)32、通信部(トランシーバ)33、表示部(ディスプレイ)34及び操作部35等を備えて構成されている。例えば企業の人事担当者等のユーザが使用する装置であり、例えばスマートフォン、タブレット型端末装置又はパーソナルコンピュータ等の情報処理装置を用いて構成され得る。
処理部31は、CPU又はMPU等の演算処理装置、ROM及び等を用いて構成されている。処理部31は、記憶部32に記憶されたプログラム32aを読み出して実行することにより、対象者の入社後の評価を予測する学習モデル5を生成するための学習用データを作成する処理、学習モデル5を用いて入社後の評価を予測する対象者に関する評価用データを作成する処理、及び、学習モデル5による評価(予測)結果を表示する処理等の種々の処理を行う。
記憶部32は、例えばフラッシュメモリ等の不揮発性のメモリ素子又はハードディスク等の記憶装置等を用いて構成されている。記憶部32は、処理部31が実行する各種のプログラム、及び、処理部31の処理に必要な各種のデータを記憶する。本実施の形態において記憶部32は、処理部31が実行するプログラム32aを記憶している。本実施の形態においてプログラム32aは遠隔のサーバ装置等により配信され、これを端末装置3が通信にて取得し、記憶部32に記憶する。ただしプログラム32aは、例えば端末装置3の製造段階において記憶部32に書き込まれてもよい。例えばプログラム32aは、メモリカード又は光ディスク等の記録媒体98に記録されたプログラム32aを端末装置3が読み出して記憶部32に記憶してもよい。例えばプログラム32aは、記録媒体98に記録されたものを書込装置が読み出して端末装置3の記憶部32に書き込んでもよい。プログラム32aは、ネットワークを介した配信の態様で提供されてもよく、記録媒体98に記録された態様で提供されてもよい。
通信部33は、携帯電話通信網、無線LAN及びインターネット等を含むネットワークNを介して、種々の装置との間で通信を行う。本実施の形態において通信部33は、ネットワークNを介して、サーバ装置1との間で通信を行う。通信部33は、処理部31から与えられたデータを他の装置へ送信すると共に、他の装置から受信したデータを処理部31へ与える。
表示部34は、液晶ディスプレイ等を用いて構成されており、処理部31の処理に基づいて種々の画像及び文字等を表示する。操作部35は、ユーザの操作を受け付け、受け付けた操作を処理部31へ通知する。例えば操作部35は、機械式のボタン又は表示部34の表面に設けられたタッチパネル等の入力デバイスによりユーザの操作を受け付ける。また例えば操作部35は、マウス及びキーボード等の入力デバイスであってよく、これらの入力デバイスは端末装置3に対して取り外すことが可能な構成であってもよい。
また本実施の形態に係る端末装置3は、記憶部32に記憶されたプログラム32aを処理部31が読み出して実行することにより、学習用データ送信部31a、評価予測用データ送信部31b及び表示処理部31c等がソフトウェア的な機能部として処理部31に実現される。なおプログラム32aは、本実施の形態に係る情報処理システムに専用のプログラムであってもよく、インターネットブラウザ又はウェブブラウザ等の汎用のプログラムであってもよい。
学習用データ送信部31aは、ユーザが作成した学習用データを、学習モデル5の生成依頼と共にサーバ装置1へ送信する処理を行う。本実施の形態に係る情報処理システムにおいて学習用データは、複数の社員について、複数項目の情報を集めたテーブル状のデータであり、例えばCSV(Comma Separated Value)又はTSV(Tab Separated Values)等のファイル形式のデータである。企業の人事担当者等のユーザは、現在又は過去において企業に所属した社員に関する情報を収集し、社員の入社前の情報と入社後の評価情報とを対応付けた学習用データを生成する。ユーザは、例えば端末装置3にて表計算等のアプリケーションプログラムを利用してこれらの情報を入力することで、学習用データを作成することができる。学習用データ送信部31aは、ユーザが作成した学習用データを取得して、サーバ装置1へ送信する。
評価予測用データ送信部31bは、ユーザが作成した評価予測用データを、社員の評価予測の依頼と共にサーバ装置1へ送信する処理を行う。本実施の形態に係る情報処理システムにおいて評価予測用データは、上記の学習用データと略同じ構成であるが、例えば企業に入社を希望している人又は企業が採用を検討している人等のように企業に入社する前の人に関する情報を集めたものであり、ユーザが入社後の評価を予測したいと考える人に関する情報を集めたものである。ただし評価予測用データには、例えば入社直後の社員など、既に企業に入社した人の情報が含まれていてもよい。学習用データには入社後の社員の評価情報が含まれるが、評価予測用データには入社後の評価情報が含まれない。入社後の評価情報以外の情報については、学習用データと評価予測用データとで含まれる項目が一致することが好ましい。評価予測用データ送信部31bは、ユーザが作成した評価予測用データを取得して、サーバ装置1へ送信する。
表示処理部31cは、サーバ装置1から送信される学習モデル5の生成結果又は学習モデル5を用いた評価結果等の情報を受信し、受信したこれらの情報を表示部34に表示する処理を行う。例えば表示処理部31cは、サーバ装置1による学習モデル5の生成完了を通知するメッセージを表示すると共に、生成された学習モデル5に基づく入力情報(入社前情報に含まれる複数の項目)の影響度等の情報を表示する。また例えば表示処理部31cは、サーバ装置1による学習モデル5を用いた対象者の入社後の評価の予測結果を表示する。また例えば表示処理部31cは、対象者の入社後の評価の予測結果に対する入力情報の影響度等の情報を表示する。
<学習モデル生成処理>
図4は、学習用データの一例を説明するための模式図である。本実施の形態に係る情報処理システムが扱う学習用データは、上述のようにテーブル形式のデータであり、例えば企業の社員に対して一意的に付される「社員ID」に対して、「基本情報」、「学生時代に頑張ったこと」、「採用試験情報」及び「適性検査情報」等を含む入社前の種々の情報(入社前情報)と、入社後の所定タイミングにおける「評価」(評価情報)とが対応付けられたデータである。
「基本情報」は、社員の入社前の学歴等に関する情報であり、例えば「文理区分」、「大学種別」、「体育会在籍」、「最終学歴」、「中学校種別」、「中学校所在地」、「高校種別」、「高校所在地」及び「部活種別」等の情報が含まれ得る。「文理区分」は、対象の社員が文系又は理系のいずれであるかを示す情報であり、例えば「文系」又は「理系」のいずれかが設定される。「大学種別」は、対象の社員の出身大学が国公立又は私立のいずれであるかを示す情報であり、例えば「国公立」又は「私立」のいずれかが設定される。「体育会在籍」は、対象の社員が学生時代に体育会に在籍していたか否かを示す情報であり、例えば「1(在籍していた)」又は「0(在籍していなかった)」のいずれかが設定される。「最終学歴」は、対象の社員の最終学歴を示す情報であり、例えば「大学院」、「大学」、「高校」又は「中学」のいずれかが設定される。「中学校種別」は、対象の社員の出身中学校が公立又は私立のいずれであるかを示す情報であり、例えば「公立」又は「私立」のいずれかが設定される。「中学校所在地」は、対象の社員の出身中学校の所在地を示す情報であり、例えば都道府県名が設定される。「高校種別」は、対象の社員の出身高校が公立又は私立のいずれであるかを示す情報であり、例えば「公立」又は「私立」のいずれかが設定される。「高校所在地」は、対象の社員の出身高校の所在地を示す情報であり、例えば都道府県名が設定される。「部活種別」は、対象の社員が学生時代に部活動に所属していたか否か、及び、所属していた部活動が体育会系又は文化系のいずれであるかを示す情報であり、例えば「体育会系」、「文化系」又は「なし」のいずれかが設定される。
「学生時代に頑張ったこと」は、任意の長さの文章情報であり、例えば対象の社員が入社前に企業へ提出した履歴書又はエントリーシート等に記載した文章等である。
「採用試験情報」は、社員が入社前に行った採用試験の結果に関する情報であり、例えば「言語(得点)」、「言語(段階)」、「数理(得点)」、「数理(段階)」、「ベーシックスキル(得点)」及び「ベーシックスキル(段階)」等の情報が含まれ得る。「言語(得点)」は、例えば英語又は中国語等の言語に関する試験で社員が獲得した得点が例えば0~100の数値として設定される。「言語(段階)」は、言語に関する試験の結果を例えば5段階又は10段階等の複数段階で評価した情報であり、「言語(得点)」の数値に基づいて決定される。「数理(得点)」は、例えば数学又は理科等の科目に関する試験で社員が獲得した得点が例えば0~100の数値として設定される。「数理(段階)」は、数理の科目の試験結果を例えば5段階又は10段階等の複数段階で評価した情報であり、「数理(得点)」の数値に基づいて決定される。「ベーシックスキル(得点)」は、採用試験として行われた複数の科目についての合計点であり、本例では「言語(得点)」及び「数理(得点)」の合計値が設定される。「ベーシックスキル(段階)」は、「ベーシックスキル(得点)」の数値に基づいて試験結果の合計点を例えば5段階又は10段階等の複数段階で評価した情報である。
「適性検査情報」は、社員が入社前に行った適性検査の結果に関する情報であり、例えば「外向性」、「対人折衝」及び「リーダーシップ」等の項目についての適性検査の結果が含まれ得る。「適性検査情報」の各項目は、例えば5段階又は10段階等の複数段階の数値でそれぞれ検査結果が示される。
「評価」は、入社後の所定のタイミングにおける社員の評価である。本実施の形態において「評価」には、社員が高評価であるか否かを示す二値の情報、例えば「ハイパフォーマ」又は「ミドルパフォーマ」のいずれかが設定される。ただし「評価」は二値でなくてよく、多段階で設定されてよい。「評価」は、例えば企業の人事担当者又は社員の上司等が行うものであり、その評価方法はどのようなものであってよい。また例えば社員の売上又は成績等の数値に基づいてサーバ装置1が評価を判断してもよい。
企業の人事担当者等のユーザは、この企業に所属している社員(過去に所属していた社員を含み得る)に関する入社前の種々の情報を収集して、図4に示す構成のテーブル形式の学習用データを予め作成する。学習用データの作成は、端末装置3とは異なる装置にて行われてもよい。学習用データを作成した後、ユーザは端末装置3にて学習用データをサーバ装置1へ送信すると共に、学習モデル5の生成依頼をサーバ装置1へ与えることで、サーバ装置1に学習モデル5の生成処理を開始させることができる。
なお、図4に示した各種の情報は、学習用データに含まれ得る情報の一例であって、これに限るものではない。ユーザは、社員に関する任意の情報を、学習用データに含めることが可能である。また本実施の形態に係る学習用データに含まれる情報は、数値又は文字で表される情報であるが、これに限るものではない。学習用データには、静止画像、動画像又は音声等のような数値及び文字以外の種々の情報が含まれていてよい。
端末装置3から学習用データを取得したサーバ装置1は、取得した学習用データに含まれる複数の情報について、機械学習に適した形式に変換する処理を行う。例えばサーバ装置1は、学習用データに「文理区分」として「文系」又は「理系」の文字列が設定されている場合に、これを「0」又は「1」の数値に置換する。また例えばサーバ装置1は、学習用データに「学生時代に頑張ったこと」として任意の文章の情報が設定されている場合に、これを所定サイズの特徴量ベクトルに変換する。文章から特徴量ベクトルへの変換には、例えば予め機械学習がなされたエンコーダ等の学習モデルが用いられ得る。また例えばサーバ装置1は、任意の範囲の数値情報について、0から1までの範囲の数値情報に変換する処理を行ってもよい。これらの情報の形式を変換する処理は、機械学習におけるいわゆる前処理と呼ばれる処理であり、サーバ装置1は、端末装置3から取得した学習用データに対してどのような前処理を行ってもよい。
サーバ装置1は、上記の前処理を行った学習用データに基づいて、学習用データの「基本情報」、「学生時代に頑張ったこと」、「採用試験情報」及び「適性検査情報」の情報を学習モデル5への入力情報(説明変数)とし、「評価」の情報を学習モデル5の出力情報(目的変数、正解ラベル)として対応付けた教師データを生成する。サーバ装置1は、生成した教師データを用いて機械学習の処理を行い、学習モデル5を生成する。
図5は、本実施の形態に係る学習モデル5の構成を説明するための模式図である。本実施の形態に係る学習モデル5は、例えば「文理区分」及び「大学種別」等の基本情報、「学生時代に頑張ったこと」の情報、「言語(得点)」及び「言語(得点)」等の採用試験情報、並びに、「外向性」及び「対人折衝」等の適性検査情報等の入社前における社員の情報を入力として受け付けて、この社員の入社後の「評価」に関する情報を出力するよう機械学習がなされたモデルである。学習モデル5へ入力される情報の数及び種類は、端末装置3から取得した学習用データに含まれる情報の数及び種類に基づいて決定される。
学習モデル5の出力情報は、例えば社員が高評価(ハイパフォーマ)であるか否かを示す0又は1の二値情報であり、出力情報の1が高評価を示し、出力情報の0が高評価ではないことを示す。なお学習モデル5は、例えば社員が高評価であることの確信度を0から1までの範囲の数値情報として出力してもよい。
教師データを用いた機械学習により学習モデル5を生成したサーバ装置1は、生成した学習モデル5の予測精度を算出すると共に、生成した学習モデル5を用いた予測における入力情報の影響度を算出し、算出したこれらの情報を端末装置3へ送信して、学習モデル5の生成完了を通知する。端末装置3は、サーバ装置1から受信した予測精度等の情報を表示部34に表示してユーザに提供する。図6~図8は、学習モデル5の生成結果に関する情報の表示例を示す模式図である。
図6に示す学習モデル5の生成結果の表示例は、生成した学習モデル5の予測精度に関する情報の表示例である。サーバ装置1から受信した情報に基づいて端末装置3は、例えば画面の最上部に「予測精度」のタイトル文字列を表示し、その下方に学習モデル5の予測精度が「70.0%」であることを円グラフを用いて表示する。なお図示の例では、予測精度とした後述の正解率(Accuracy)の値が用いられているが、これに限るものではなく、他の評価値が用いられてもよい。端末装置3は、この円グラフの下方に、例えば「予測に用いた253件のデータのうち、177件が実データと合致しています。」のメッセージを表示する。このメッセージは、学習用データに含まれる253人の社員について学習モデル5が評価の予測を行った場合、177人の社員について正しい予測結果が得られたことを示している。
また端末装置3は、上記のメッセージの下方に、予測精度の算出に関する詳細情報を表示する。図示の例では、学習モデル5による予測を合計253人の社員について行い、そのうちの112人をハイパフォーマ(高評価)と予測し、141人をミドルパフォーマ(低評価)と予測したことが示されている。また実データ(学習用データ)には、ハイパフォーマの社員が112人含まれており、学習モデル5がそのうちの85人をハイパフォーマと予測し、27人をミドルパフォーマと(誤)予測したことが示されている。また実データには、ミドルパフォーマの社員が141人含まれており、学習モデル5がそのうちの49人をハイパフォーマと(誤)予測し、92人をミドルパフォーマと予測したことが示されている。端末装置3は、これらの予測結果に基づいて、正解率(Accuracy)が69.96%であり、適合率(Precision)が70.37%であり、再現率(Recall)が70.57%であり、F値が69.94%であることを表示している。これらの評価値の算出は、サーバ装置1が行ってもよく、端末装置3が行ってもよい。なお、これら評価値は既存のものであり、算出方法の詳細な説明は省略する。
図7に示す学習モデル5の生成結果の表示例は、生成した学習モデル5を用いて実データ(学習用データ)に含まれる社員の評価予測を行った場合の、予測結果の要因に関する情報の表示例である。本実施の形態に係る情報処理システムにおいてサーバ装置1が生成する学習モデル5は木構造の学習モデルである。木構造の学習モデル5は、複数の条件判定を木構造で連ねたものであり、入力情報に含まれるいずれかの項目に対して条件判定を順に行って木構造の分岐を辿ることで出力データを得ることができる。木構造の学習モデル5は、その静的な構造に基づいて、入力情報の各項目の影響度(重要度、寄与度)を算出することができる。この場合、学習モデル5に木構造で連なった複数の条件判定において使用される項目がいずれであるか、更に学習モデル5の全体で各項目が条件判定に使用された回数を調べることにより、各項目の影響度が算出できる。例えば学習モデル5内に条件判定を行う箇所が100個存在し、その中で項目Aが判定条件として20回使用されている場合、項目Aの影響度は20%となる。
また木構造の学習モデル5は、入力データを与えて出力データを得た際に、入力データから出力データへ至るまでに辿った木構造の経路を調べ、この経路中で行われた条件判定に用いられた項目を調べることによって、学習モデル5の出力結果に対する入力情報の各項目の影響度を算出することができる。例えばある対象者の情報を学習モデル5へ入力し、学習モデル5の木構造を辿って20回の条件判定が行われ、その中で項目Aが判定条件として5回使用されている場合、項目Aの影響度は25%となる。更に、複数の対象者について情報を学習モデル5へ入力して条件判定において各項目が使用された回数を調べ、複数の対象者について得られた回数の合計値に基づいて各項目の影響度を算出してもよい。
なお、上記のいずれの方法で影響度を算出する場合であっても、学習モデル5の木構造の何層目の条件判定で使用されたかに応じて、各項目の使用回数に重み付けして影響度を算出してもよい。
またサーバ装置1は、入力情報に含まれる各項目の影響度をSHAP値に基づいて算出することができる。サーバ装置1は、学習用データに含まれる社員の評価予測を学習モデル5にて行い、各社員について予測結果に対する入力情報の各項目のSHAP値を算出する。サーバ装置1は、学習用データに含まれる全社員について評価予測及びSHAP値の算出を行い、入力情報の各項目について全社員のSHAP値の平均値又は合計値を算出し、算出した値を影響度とすることができる。なおSHAP値として正負の値が算出される場合、サーバ装置1は、SHAP値の絶対値に基づいて影響度の順位を決定してよい。
また上記の影響度の算出方法は一例であってこれに限るものではなく、どのような方法で影響度の算出が行われてもよい。
本実施の形態においては、生成した学習モデル5に学習用データに含まれる複数の社員の情報を入力し、入力から出力までに条件判定で使用された項目を調べることにより、各項目の影響度を算出する。サーバ装置1は、学習モデル5に社員の情報を入力して評価の予測を行った際に、予測結果に対する影響度(重要度、寄与度)が高い入力情報の項目がいずれであるかを判定し、この項目を評価予測の要因とする。サーバ装置1は、例えば学習用データに含まれる社員のうちハイパフォーマと予測した社員についてその要因を特定して集計し、要因の多いものについて例えば上位1番目から順番に要因に関する情報を端末装置3へ送信する。端末装置3は、サーバ装置1から受信した情報に基づいて、評価予測の要因に関する情報を表示部34に表示する。
図示の例では、端末装置3は、評価予測の要因となった入力情報の「項目」とその「影響度」とを対応付けて表示している。「影響度」は、例えばハイパフォーマと予測した全ての社員についての要因においてその「項目」が占める割合を算出したものとすることができる。本例において端末装置3は、「影響度」が高いものから順に第1位から第10位までの入力情報の「項目」を上から下に並べて表示している。本例において、影響度が高い項目の第1位は「学生時代頑張ったこと」であり、第2位は「ベーシックスキル(得点)」であり、第3位は「言語(得点)」であり、第4位は「高校所在地」であり、第5位は「最終学歴」である。また第6位は「数理(得点)」であり、第7位は「中学校所在地」であり、第8位は「文理区分」であり、第9位は「リーダーシップ」であり、第10位は「体育会在籍」である。なお図7に示す項目、項目の順位及び影響度等は一例であって、これに限るものではない。このような情報表示を端末装置3が行うことによって、ユーザは過去に採用したハイパフォーマの社員について影響度が高い項目を把握することができ、今後の人材採用の参考とすることが期待できる。
端末装置3は、図7に示す情報を表示している状態において、影響度の順に並べられた複数の項目の中から1つの項目の選択をユーザから受け付け、選択された項目に関する詳細情報を表示する。図8に示す表示例は、図7の表示例において「リーダーシップ」の項目が選択された場合に端末装置3が表示する詳細情報の一例である。図示の例では、「リーダーシップ」の項目が1~9までの9段階のスコアで与えられるものとし、横軸を「リーダーシップ」のスコアとし、縦軸を各スコアに該当するデータ数としたヒストグラムのグラフ表示を端末装置3が行っている。なおこのヒストグラムは、端末装置3がサーバ装置1へ送信した学習用データ(実データ)に基づくものである。
また端末装置3は、「リーダーシップ」スコア毎のターゲット(即ち、ハイパフォーマと予測された人)の含有割合を、ヒストグラムのグラフに重ねて表示する。図8に示す表示例では、例えば入社前に「リーダーシップ」スコアが「9」の社員が136人おり、この社員の中で入社後にハイパフォーマと判定された社員が「49.265%」含まれていたことが示されている。また例えば入社前に「リーダーシップ」スコアが「3」の社員が49人おり、この社員の中で入社後にハイパフォーマと判定された社員が「28.571%」含まれていたことが示されている。これらの事からユーザは、例えば入社前に「リーダーシップ」スコアが7以上であれば、入社後に45%以上の確率でハイパフォーマとなると分析することができる。
なお本実施の形態においては、図6~図8に示した画面を端末装置3が表示するために、サーバ装置1が表示に必要な情報を端末装置3へ表示するものとするが、これに限るものではない。図6及び図7の画面を表示するためにはサーバ装置1が生成した学習モデル5に関する情報が必要であるが、図8の画面は学習用データに基づいて表示することが可能であるため、自身が保持している学習用データに基づいて端末装置3が表示してもよい。
図9は、本実施の形態に係るサーバ装置1が行う学習モデル生成処理の手順を示すフローチャートである。本実施の形態においてサーバ装置1の処理部11の学習用データ取得部11aは、通信部13にて端末装置3との通信を行うことにより、端末装置3から学習用データを取得する(ステップS1)。処理部11の教師データ生成部11bは、端末装置3から取得した学習用データに対して型変換等の所定の前処理を施すことにより、機械学習を行うための教師データを生成する(ステップS2)。処理部11の学習モデル生成部11cは、ステップS2にて生成した教師データを用いて、いわゆる教師ありの機械学習の処理を行い(ステップS3)、学習モデル5を生成する。学習モデル生成部11cは、生成した学習モデル5の情報を記憶部12に記憶する(ステップS4)
学習モデル生成部11cは、生成した学習モデル5に対して教師データに含まれる入力データを入力し、学習モデル5が出力する出力データを取得し、取得した出力データと教師データに含まれる正解ラベルとを比較することにより、予測精度を算出する(ステップS5)。学習モデル生成部11cは、ステップS5にて予測精度を算出するために学習モデル5を用いた際に、各社員について予測結果に対する入力情報の項目の影響度を算出する(ステップS6)。学習モデル生成部11cは、ステップS5にて算出した学習モデル5の予測精度、及び、ステップS6にて算出した入力情報の項目の影響度等を含む学習モデル5の生成結果に関する情報を端末装置3へ送信し(ステップS7)、処理を終了する。
図10は、本実施の形態に係る端末装置3が行う学習モデル生成処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、入社前の社員に関する種々の情報と、この社員の入社後の所定タイミングにおける評価とを対応付けたデータをユーザが予め作成する。このデータの作成は端末装置3にて行われてもよく、他の装置にて行われてもよい。本実施の形態に係る端末装置3の処理部31の学習用データ送信部31aは、ユーザが予め作成して記憶部32等に記憶したこのデータを、サーバ装置1が学習モデル5を生成する機械学習を行うための学習用データとして取得する(ステップS21)。学習用データ送信部31aは、取得した学習用データをサーバ装置1へ送信し(ステップS22)、学習モデル5の生成を依頼する。
処理部31の表示処理部31cは、サーバ装置1から学習モデル5の生成結果の情報を受信したか否かを判定する(ステップS23)。サーバ装置1から学習モデル5の生成結果を受信していない場合(S23:NO)、表示処理部31cは、生成結果を受信するまで待機する。サーバ装置1から学習モデル5の生成結果を受信した場合(S23:YES)、表示処理部31cは、サーバ装置1から受信した情報に基づいて、図6に示した学習モデル5の予測精度に関する情報の表示を行う(ステップS24)。
次いで表示処理部31cは、サーバ装置1から受信した情報に基づいて、図7に示した学習モデル5への入力情報に含まれる項目の影響度に関する情報を表示する(ステップS25)。表示処理部31cは、例えば影響度が高い順に入力情報の項目を一覧表示した画面を表示し、表示した複数の項目の中から1つの項目の選択がなされたか否かを判定する(ステップS26)。項目が選択されていない場合(S26:NO)、表示処理部31cは、ステップS25へ処理を戻して影響度に関する情報の表示を継続して行う。項目が選択された場合(S26:YES)、表示処理部31cは、図8に示した選択された項目に関する詳細情報の表示を行って(ステップS27)、処理を終了する。
<予測処理>
学習モデル5の生成が完了した後、ユーザは、例えば企業で採用を検討している候補者について、学習モデル5を用いた入社後の評価の予測を行うことができる。ユーザは、学習モデル5を生成した際の学習用データと同様のテーブル形式で、一又は複数の候補者に関する情報を集めた評価予測用データを生成し、評価予測用データを端末装置3にてサーバ装置1へ送信して入社後の評価の予測を依頼することができる。図示は省略するが、評価予測用データの構成は、図4に示した学習用データの構成から「評価」の項目を取り除いた構成に相当する。評価予測用データには、入社後の評価を予測する少なくとも1人の対象者についての情報が含まれる。
端末装置3から評価予測用データを受信したサーバ装置1は、学習モデル5の生成処理において学習用データから教師データを生成する際に行った前処理と同じ処理を評価予測用データに対して行い、学習モデル5への入力データを生成する。サーバ装置1は、生成した入力データを学習モデル5へ入力し、学習モデル5が出力する出力データを取得する。図5に示した構成の学習モデル5の場合、学習モデル5の出力データは、対象者の入社後の評価(ハイパフォーマであるか否か)についての二値情報である。サーバ装置1は、評価予測用データに含まれる全ての対象者について評価の予測を行い、予測結果の情報を端末装置3へ送信する。
またサーバ装置1は、各対象者について入社後の評価の予測を行った際に、予測結果についての入力情報の項目の影響度を算出する。本実施の形態に係るサーバ装置1は、各対象者の予測結果に対する入力情報のSHAP値を影響度として算出する。サーバ装置1は、評価予測用データに含まれる全ての対象者(ハイパフォーマと予測された対象者のみ又はミドルパフォーマと予測された対象者のみであってもよい)について、予測結果に対する入力情報の項目の影響度を算出し、入社後の評価の予測結果と共に入力情報の各項目の影響度に関する情報を端末装置3へ送信する。
図11は、端末装置3が表示する予測結果の一例を示す模式図である。サーバ装置1から対象者に関する入社後の評価の予測結果を受信した端末装置3は、例えば複数の対象者についての予測結果を図11に示すように一覧表示する。このときに端末装置3は、各対象者について、「応募者ID」と、予測結果である「パフォーマンス判定」及び「確信度」と、この予測結果に影響を与えた入力情報の項目に関する情報とを対応付けて表示する。「パフォーマンス判定」は、学習モデル5による対象者の入社後の評価の予測結果であり、「ハイパフォーマ」又は「ミドルパフォーマ」のいずれかである。「確信度」は、入社後の評価の予測結果に対する確かさを示す数値である。確信度は、例えば予測を行った際の学習モデル5の内部状態、予測のための演算処理の過程で算出された値等に基づいて、取得又は算出される。また学習モデル5が確信度を出力する構成である場合には、出力された確信度が用いられる。
予測結果に影響を与えた項目に関する情報には、例えば「変数名」、「値」及び「影響度」等の情報が含まれる。本例において端末装置3は、予測結果に影響を与えた項目を各対象者について2つ表示しており、図示の例では「理由1_変数名」、「理由1_値」、「理由1_影響度」、「理由2_変数名」、「理由2_値」及び「理由2_影響度」として2つの項目に関する情報を区別して表示している。「変数名」は、学習モデル5へ入力された入力情報の複数の項目うち、予測結果に影響を与えた項目に対して付されていた名称である。図示の例では、予測結果の要因として、「リーダーシップ」、「数理(得点)」、「言語(得点)」、「対人折衝」及び「ベーシックスキル(得点)」等の変数名が表示されている。「値」は、評価予測用データにおいて「変数名」に対応する入力情報の項目に設定されていた値である。「影響度」は、対応する項目が予測結果にどの程度の影響を与えるかを数値化したものである。
例えば「応募者ID」が「16048279」の対象者は、入社後に「パフォーマンス判定」が「ハイパフォーマ」になると「72.7%」の「確信度」で予測されている。またこの予測結果に対しては、入力情報のうちの「リーダーシップ」の項目が「5」であることが「0.23780」の「影響度」で最も影響を与えており、次いで「数理(得点)」の項目が「82」であることが「0.23540」の「影響度」で影響を与えている。
なお図11に示す例では、端末装置3は評価予測が行われた全ての対象者の情報を単に一覧表示している。ユーザは、端末装置3に対して条件入力等の操作を行うことによって、一覧表示された全ての対象者の中から特定の条件を満たす対象者のみを抽出して表示させることができる。またユーザは、端末装置3に対して所定の操作を行うことによって、例えば「確信度」の値が大きい順、「応募者ID」の値が小さい順、「影響度」の値が大きい順又は「変数名」の五十音順等で、複数の対象者の情報を並べ替えて表示させることができる。これにより端末装置3は、例えば「確信度」が70%を超える「ハイパフォーマ」と予測された対象者を抽出し、「確信度」が大きい順に複数の対象者の情報を並べて表示することができ、ユーザはこれらの「確信度」が70%を超える「ハイパフォーマ」を採用の1つの条件として候補者の絞り込みを行うことができる。
図12は、本実施の形態に係るサーバ装置1が行う予測処理の手順を示すフローチャートである。本実施の形態に係るサーバ装置1の処理部11の評価予測用データ取得部11dは、通信部13にて端末装置3との通信を行うことにより、端末装置3から評価予測用データを取得する(ステップS41)。処理部11の予測処理部11eは、端末装置3から取得した評価予測用データに対して教師データを生成した際と同じ内容の前処理を施すことにより、学習モデル5に対する入力データを生成する(ステップS42)。予測処理部11eは、生成した入力データを学習モデル5へ入力する(ステップS43)。
予測処理部11eは、学習モデル5が出力する出力データを取得することにより(ステップS44)、対象者の入社後の評価を予測する。また予測処理部11eは、各対象者の予測結果に対する入力データに含まれる各項目の影響度を算出する(ステップS45)。予測処理部11eは、対象者の入社後の評価の予測と、この予測に対する入力情報の各項目の影響度との情報を含む予測結果を端末装置3へ送信し(ステップS46)、処理を終了する。
図13は、本実施の形態に係る端末装置3が行う予測処理の手順を示すフローチャートである。本実施の形態に係る情報処理システムでは、企業の求人に対して応募した応募者又は企業が採用を検討している候補者等の対象者に関する種々の情報を集めた評価予測用データをユーザが予め作成する。このデータの作成は端末装置3にて行われてもよく、他の装置にて行われてもよい。本実施の形態に係る端末装置3の処理部31の評価予測用データ送信部31bは、ユーザが予め作成して記憶部32等に記憶したこの評価予測用データを取得する(ステップS61)。評価予測用データ送信部31bは、取得した評価予測用データをサーバ装置1へ送信し(ステップS62)、学習モデル5による対象者の評価予測を依頼する。
処理部31の表示処理部31cは、サーバ装置1から学習モデル5による対象者の予測結果を受信したか否かを判定する(ステップS63)。サーバ装置1から予測結果を受信していない場合(S63:NO)、表示処理部31cは、予測結果を受信するまで待機する。サーバ装置1から予測結果を受信した場合(S63:YES)、表示処理部31cは、サーバ装置1から受信した情報に基づいて、図11に示した対象者の予測結果の一覧表示を行う(ステップS64)。
次いで表示処理部31cは、例えば採用の基準となる条件など、表示に関する条件の入力をユーザから受け付ける(ステップS65)。表示処理部31cは、一覧表示した複数の対象者の中から、ステップS65にて受け付けた条件を満たす対象者を抽出する(ステップS66)。表示処理部31cは、抽出した対象者の予測結果を一覧表示して(ステップS67)、処理を終了する。
<まとめ>
以上の構成の本実施の形態に係る情報処理ステムでは、社員の入社前における複数の項目の情報を含む入社前情報と、この社員の入社後における評価情報とを対応付けた学習用データをサーバ装置1が端末装置3から取得する。サーバ装置1は、端末装置3から取得した学習用データに基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデル5を機械学習により生成する。またサーバ装置1は、生成した学習モデル5に基づいて、学習モデル5が出力する評価情報に対する入社前情報の各項目の影響度を算出し、算出した各項目の影響度に関する情報を端末装置3へ送信(出力)することによって、端末装置3に情報を表示(出力)させる。
これにより、本実施の形態に係る情報処理システムは、社員の入社前情報及び評価情報に基づいて生成された学習モデル5を用いて、採用の候補者等の入社前情報に基づいて入社後の評価情報を予測することを可能とする。また本実施の形態に係る情報処理システムでは、生成された学習モデル5に基づいて評価情報に対する入社前情報の各項目の影響度を出力することで、入社前のどのような項目が入社後の評価に影響するかをユーザが分析することができる。よって、本実施の形態に係る情報処理システムは、企業等による人材採用を支援することが期待できる。
また本実施の形態に係る情報処理システムでは、サーバ装置1からの情報に基づいて端末装置3が、入社前情報に含まれる項目の評価値と、評価値毎の該当社員数とを対応付けたヒストグラムのグラフ表示を行う。また本実施の形態に係る情報処理システムでは、サーバ装置1からの情報に基づいて端末装置3が、評価値毎の社員数に対する所定評価の社員数の比率をヒストグラムのグラフに併せて表示する。これらにより本実施の形態に係る情報処理システムは、入社前情報に含まれる各項目が入社後の評価にどのような影響を与えるかなどをユーザが分析することを可能とする。
また本実施の形態に係る情報処理システムでは、サーバ装置1が生成した学習モデル5について出力する評価情報の精度を算出し、算出した制度に関する情報を端末装置3へ送信(出力)することによって、端末装置3に精度に関する情報を表示(出力)させる。これによりユーザは、生成された学習モデル5が予測する入社後の評価がどの程度の精度のものであるかを容易に把握することができる。
また本実施の形態に係る情報処理システムでは、学習モデル5へ入力する入社前情報に、学歴、文理区分、部活動の種別、採用試験の結果及び適性検査の結果等の情報を含む。これらの情報に基づいて入社後の評価を予測する学習モデル5を生成することにより、採用の候補者等の対象者について入社後の評価を精度よく予測することが期待できる。
また本実施の形態に係る情報処理システムでは、決定木の構造を含む学習モデル5を生成する。決定木の学習モデルは、出力(目的変数)に対する入力(説明変数)の影響度等を推定することが可能な学習モデルであるため、決定木の学習モデルを用いて入社後の評価を予測することにより、予測結果の評価に対する入力情報の影響度等を推定して分析することが期待できる。
また本実施の形態に係る情報処理システムは、対象者の入社前における複数の項目の情報を含む評価予測用データ(入社前情報)をサーバ装置1が端末装置3から取得し、取得した評価予測用データに基づく入力データを学習済みの学習モデル5へ入力して出力される評価情報を取得する。またサーバ装置1は、学習モデル5が出力した評価情報に対する入力の各項目の影響度を算出する。サーバ装置1は評価情報及び影響度に関する情報を端末装置3へ送信(出力)し、端末装置3にこれらの情報を表示(出力)させる。
これにより、本実施の形態に係る情報処理システムは、採用の候補者等の対象者の入社前情報に基づいて学習済みの学習モデル5にて入社後の評価を予測することができると共に、入社前のどのような項目が入社後の評価に影響するかをユーザが分析することができる。よって、本実施の形態に係る情報処理システムは、企業等による人材採用を支援することが期待できる。
なお本実施の形態に係る情報処理システムでは、ユーザが使用する端末装置3とは別の装置、即ちサーバ装置1が学習モデル5の生成及び学習モデル5を用いた予測等の処理を行っているが、これに限るものではなく、端末装置3が学習モデル5の生成及び学習モデル5を用いた予測等の処理を行ってもよい。またサーバ装置1は生成した学習モデル5を端末装置3へ送信し、学習モデル5を用いた予測等の処理を端末装置3が行ってもよい。
また本実施の形態において図6、図7、図8及び図11等に示した端末装置3による画面表示は、一例であってこれに限るものではない。学習モデル5による予測結果等の情報は、どのような態様で表示されてもよい。また本実施の形態において図4に示した学習用データに含まれる情報は、一例であってこれに限るものではない。
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
1 サーバ装置(情報処理装置、コンピュータ)
3 端末装置(情報処理装置、コンピュータ)
5 学習モデル
11 処理部
11a 学習用データ取得部(取得部)
11b 教師データ生成部
11c 学習モデル生成部(生成部、算出部、出力部)
11d 評価予測用データ取得部(第1の取得部)
11e 予測処理部(入力部、第2の取得部、算出部、出力部)
12 記憶部
12a サーバプログラム
13 通信部
31 処理部
31a 学習用データ送信部
31b 評価予測用データ送信部
31c 表示処理部
32 記憶部
32a プログラム
33 通信部
34 表示部
35 操作部
N ネットワーク

Claims (7)

  1. 情報処理装置が、
    社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、
    取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、
    生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、
    算出した前記項目の影響度を出力
    前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する、
    学習モデルの生成方法。
  2. 前記情報処理装置が、前記社員数に対する入社後の所定評価の社員数の比率を出力する、
    請求項に記載の学習モデルの生成方法。
  3. 前記情報処理装置が、
    生成した前記学習モデルが出力する評価情報の精度を算出し、
    算出した前記精度を出力する、
    請求項1又は請求項に記載の学習モデルの生成方法。
  4. 前記入社前情報には、学歴、文理区分、部活動の種別、採用試験の結果及び適性検査の結果の少なくとも1つを含む、
    請求項1から請求項までのいずれか1つに記載の学習モデルの生成方法。
  5. 前記学習モデルは、決定木の構造を含むモデルである、
    請求項1から請求項までのいずれか1つに記載の学習モデルの生成方法。
  6. コンピュータに、
    社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得し、
    取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成し、
    生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出し、
    算出した前記項目の影響度を出力し、
    前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する
    処理を実行させる、コンピュータプログラム。
  7. 社員の入社前における複数の項目の情報を含む入社前情報と、前記社員の入社後における評価情報とを取得する取得部と、
    取得した入社前情報及び評価情報に基づいて、対象者の入社前情報の入力に対して入社後の評価情報を出力する学習モデルを機械学習により生成する生成部と、
    生成した前記学習モデルに基づいて、当該学習モデルが出力する評価情報に対する前記項目の影響度を算出する算出部と、
    算出した前記項目の影響度を出力する第1の出力部と
    前記入社前情報に含まれる項目に関する評価値と、前記評価値毎に該当する社員数とを対応付けて出力する第2の出力部と
    を備える、情報処理装置。
JP2022036456A 2022-03-09 2022-03-09 学習モデルの生成方法、コンピュータプログラム及び情報処理装置 Active JP7217372B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022036456A JP7217372B1 (ja) 2022-03-09 2022-03-09 学習モデルの生成方法、コンピュータプログラム及び情報処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022036456A JP7217372B1 (ja) 2022-03-09 2022-03-09 学習モデルの生成方法、コンピュータプログラム及び情報処理装置

Publications (2)

Publication Number Publication Date
JP7217372B1 true JP7217372B1 (ja) 2023-02-02
JP2023131602A JP2023131602A (ja) 2023-09-22

Family

ID=85129912

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022036456A Active JP7217372B1 (ja) 2022-03-09 2022-03-09 学習モデルの生成方法、コンピュータプログラム及び情報処理装置

Country Status (1)

Country Link
JP (1) JP7217372B1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001338106A (ja) 2000-05-26 2001-12-07 Tokio Marine & Fire Insurance Co Ltd 採用支援システム
JP2005258519A (ja) 2004-03-09 2005-09-22 First Career Trading Co Ltd 採用内定率を利用した求人システム及びその運用方法
JP2016062322A (ja) 2014-09-18 2016-04-25 日本電気株式会社 評価対象者の評価装置、評価方法及び評価システム
WO2018042547A1 (ja) 2016-08-31 2018-03-08 株式会社オプティム 回答データ選別システム、回答データ選別方法及びプログラム
JP2019139521A (ja) 2018-02-09 2019-08-22 ヤフー株式会社 予測装置、予測方法、及び予測プログラム
JP2020113218A (ja) 2019-01-16 2020-07-27 株式会社エクサウィザーズ 情報処理装置、表示方法およびプログラム
JP2020160551A (ja) 2019-03-25 2020-10-01 Necソリューションイノベータ株式会社 人事項目の分析支援装置、分析支援方法、プログラム、および記録媒体

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001338106A (ja) 2000-05-26 2001-12-07 Tokio Marine & Fire Insurance Co Ltd 採用支援システム
JP2005258519A (ja) 2004-03-09 2005-09-22 First Career Trading Co Ltd 採用内定率を利用した求人システム及びその運用方法
JP2016062322A (ja) 2014-09-18 2016-04-25 日本電気株式会社 評価対象者の評価装置、評価方法及び評価システム
WO2018042547A1 (ja) 2016-08-31 2018-03-08 株式会社オプティム 回答データ選別システム、回答データ選別方法及びプログラム
JP2019139521A (ja) 2018-02-09 2019-08-22 ヤフー株式会社 予測装置、予測方法、及び予測プログラム
JP2020113218A (ja) 2019-01-16 2020-07-27 株式会社エクサウィザーズ 情報処理装置、表示方法およびプログラム
JP2020160551A (ja) 2019-03-25 2020-10-01 Necソリューションイノベータ株式会社 人事項目の分析支援装置、分析支援方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
JP2023131602A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
Chen et al. A Pro-performance appraisal system for the university
Karthikeyan et al. Towards developing hybrid educational data mining model (HEDM) for efficient and accurate student performance evaluation
JP6369053B2 (ja) マッチング装置、マッチング方法及びプログラム
CN108701293A (zh) 用于对人才的数据驱动辨识的系统和方法
JP2021508065A (ja) 学習効率に基づいて個人カスタマイズ型教育コンテンツを提供するための機械学習方法、装置及びコンピュータプログラム
Datta et al. Use of compromise ranking method for supervisor selection: A multi-criteria decision making (MCDM) approach
JP6733920B2 (ja) 情報処理装置、表示方法およびプログラム
CN113947322A (zh) 一种基于FP-Growth算法的画像匹配方法及系统
Bonaccorsi et al. Nondeterministic ranking of university departments
Rzheuskyi et al. The architecture of distant competencies analyzing system for it recruitment
US10489427B2 (en) Document classification system, document classification method, and document classification program
JP2019160193A (ja) 学習支援システム、学習支援方法及び学習支援プログラム
Zhang et al. Predicting academic performance using tree-based machine learning models: A case study of bachelor students in an engineering department in China
Mbunge et al. Diverging hybrid and deep learning models into predicting students’ performance in smart learning environments–a review
Asghar et al. A Genetic Algorithm‐Based Support Vector Machine Approach for Intelligent Usability Assessment of m‐Learning Applications
Dickmond et al. A study of machine learning based approaches to extract personality information from curriculum vitae
Hussain et al. Student grade prediction using machine learning in Iot era
JP7217372B1 (ja) 学習モデルの生成方法、コンピュータプログラム及び情報処理装置
KR20220022592A (ko) 유전자지문적성검사와 다중능력검사를 융합한 맞춤형 진로탐색시스템 및 방법
Shao et al. A Combinatorial optimization framework for scoring students in University Admissions
WO2020195823A1 (ja) 指標値付与装置、指標値付与方法及びプログラム
Rezk et al. Adaptive intelligent decision support system for enhancing higher education quality assurance
Siddiqui et al. Predicting the Student Performance via Machine Leaning Techniques
JP7079882B1 (ja) 情報処理方法、コンピュータプログラム及び情報処理装置
Morampudi et al. Analyzing Student Performance in Programming Education Using Classification Techniques

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221007

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230123

R150 Certificate of patent or registration of utility model

Ref document number: 7217372

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150