JP5649148B1 - Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method - Google Patents

Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method Download PDF

Info

Publication number
JP5649148B1
JP5649148B1 JP2014016248A JP2014016248A JP5649148B1 JP 5649148 B1 JP5649148 B1 JP 5649148B1 JP 2014016248 A JP2014016248 A JP 2014016248A JP 2014016248 A JP2014016248 A JP 2014016248A JP 5649148 B1 JP5649148 B1 JP 5649148B1
Authority
JP
Japan
Prior art keywords
source code
evaluation
job
programming
execution environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014016248A
Other languages
Japanese (ja)
Other versions
JP2015143890A (en
Inventor
良平 片山
良平 片山
啓太 升水
啓太 升水
花子 野田
花子 野田
Original Assignee
ギノ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ギノ株式会社 filed Critical ギノ株式会社
Priority to JP2014016248A priority Critical patent/JP5649148B1/en
Application granted granted Critical
Publication of JP5649148B1 publication Critical patent/JP5649148B1/en
Publication of JP2015143890A publication Critical patent/JP2015143890A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】 ITエンジニアのプログラミングスキルを評価するためのプログラミングスキル評価装置、及びITエンジニアのプログラミングスキルを評価して応募要件に合致する求人情報を選択するための求人情報選択装置を提供する。【解決手段】 プログラミングスキルの被評価者である求職者に対して課題となるプログラミング要件を求人情報提供サーバから送信し、被評価者が作成したプログラムのソースコードを受信して、プログラム評価サーバでこれを実行して実行速度等からプログラミングスキルを評価する。多数の被評価者の中に悪意のある者が紛れ込み、ウィルス等の有害なプログラムが送信されるリスクに対応するために、ソースコードをプログラム評価サーバの隔離された仮想実行環境で実行し、実行後には仮想実行環境を廃棄する。【選択図】 図1PROBLEM TO BE SOLVED: To provide a programming skill evaluation device for evaluating the programming skill of an IT engineer, and a job information selection device for selecting the job information that meets the application requirements by evaluating the programming skill of the IT engineer. SOLUTION: A programming requirement which is a problem is transmitted from a job offer information providing server to a job seeker who is an evaluated person of a programming skill, a source code of a program created by an evaluated person is received, and this is received by a program evaluation server. To evaluate programming skills based on execution speed. In order to cope with the risk of malicious persons being mixed into a large number of evaluated persons and the transmission of harmful programs such as viruses, the source code is executed in an isolated virtual execution environment of the program evaluation server, After execution, the virtual execution environment is discarded. [Selection] Figure 1

Description

本発明は、ITエンジニアのプログラミングスキルを評価するためのプログラミングスキル評価装置及びプログラミングスキルの評価方法、並びにITエンジニアのプログラミングスキルを評価して応募要件に合致する求人情報を選択するための求人情報選択装置及び求人情報の選択方法に関するものである。   The present invention relates to a programming skill evaluation device and a programming skill evaluation method for evaluating a programming skill of an IT engineer, and a job information selection device and a job information for evaluating a programming skill of an IT engineer and selecting job information that meets application requirements. Is related to the selection method.

転職や就職の際には、求職者の年齢等の属性や保有資格、実務能力などの資質が、求人企業等の求める応募要件に合致するかを判断することが必要になるが、このような課題に対処するために、大量の求職者と求人情報をマッチングさせるための様々な発明が開示されている(例えば、特許文献1〜3参照)。   When changing jobs or finding a job, it is necessary to determine whether the job applicant's attributes such as age, qualifications such as qualifications, practical ability, etc. meet the application requirements required by the recruiting company. In order to deal with the problem, various inventions for matching a large number of job seekers with job information have been disclosed (see, for example, Patent Documents 1 to 3).

こうしたマッチングの際に問題になるのが、定量的に評価しにくい求職者の資質をどのように判断するかであるが、例えば、テストの評価結果から特定の分野におけるスキルを判断する方法(特許文献1参照)、ゲーム形式のシミュレーションや質問形式のテスト等によって適正検査を行う方法(特許文献2、3参照)などが開示されている。   The problem with such matching is how to determine the qualities of job seekers that are difficult to evaluate quantitatively. For example, a method for judging skills in a specific field from the results of test evaluation (patents) Reference 1), a method of performing a proper inspection by a game-type simulation, a question-type test, and the like (see Patent Documents 2 and 3) are disclosed.

特開2008−176666号公報JP 2008-176666 A 特開2003−76886号公報JP 2003-76886 A 特開2001−297160号公報JP 2001-297160 A

上記に例示した発明によってもスキルの評価が困難であるのが、プログラミングのように実務能力の試験を必要とするようなスキルである。特許文献1に開示された求人求職支援システムではPCスキルの評価が可能とされているが、ここで評価の対象にされているのは、あくまでPCに関する知識や操作スキルであって、プログラミングという実務能力に関する評価ではない。ITエンジニアの転職や就職などの採用試験では、こうした実務能力に関する評価を過去の職歴や面接でのヒアリング等に頼らざるを得なくなっているのが現状である。   Skills that are difficult to evaluate even with the inventions exemplified above are skills that require a test of practical ability, such as programming. In the job offer support system disclosed in Patent Document 1, it is possible to evaluate PC skills. However, what is evaluated here is knowledge and operation skills related to PCs, and programming practice. It is not an assessment of ability. In the recruitment examination of IT engineer's change of job or employment, etc., the current situation is that the evaluation of practical ability has to be relied on based on past work history and interviews.

また、こうしたITエンジニアのプログラミングスキルに関する評価は、求職者と求人情報のマッチングの他にも、企業等における採用試験や社員研修などの場で必要になることがあるものであり、ITエンジニアのプログラミングスキルを正確かつ効率的に評価する仕組みが求められるところである。   In addition to matching job seekers and job information, this evaluation of IT engineer's programming skills may be necessary in places such as recruitment examinations and employee training in companies, etc. There is a need for a mechanism for accurate and efficient evaluation.

本発明は、このような課題に対応するためになされたものであり、ITエンジニアのプログラミングスキルを評価するためのプログラミングスキル評価装置及びプログラミングスキルの評価方法、並びにITエンジニアのプログラミングスキルを評価して応募要件に合致する求人情報を選択するための求人情報選択装置及び求人情報の選択方法を提供することを目的とするものである。   The present invention has been made in order to cope with such a problem. A programming skill evaluation apparatus and a programming skill evaluation method for evaluating a programming skill of an IT engineer, and an IT engineer's programming skill are evaluated to meet an application requirement. An object of the present invention is to provide a job information selection apparatus and a method for selecting job information for selecting job information to be provided.

本願にかかる課題を解決するプログラミングスキル評価装置に関する発明は、ネットワークを介して接続されたプログラミングスキルの評価を受ける被評価者が操作する被評価者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信手段と、前記被評価者端末から、前記プログラミング要件に基づいて前記被評価者が作成したプログラムのソースコードを受信するソースコード受信手段と、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築手段と、前記仮想実行環境構築手段によって構築された仮想実行環境において、前記ソースコード受信手段が受信したソースコードを実行するソースコード実行手段と、前記ソースコード実行手段によるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価手段と、前記ソースコード評価手段によるソースコードの評価を前記被評価者のプログラミングスキルの評価情報として、被評価者に関する情報を格納する格納手段に保存する評価情報保存手段と、前記ソースコード評価手段によるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄手段と、を備えることを特徴とするプログラミングスキル評価装置を備えることを特徴とするプログラミングスキル評価装置である。
An invention relating to a programming skill evaluation apparatus that solves the problem relating to the present application transmits a programming requirement of a program to be evaluated for a programming skill to an evaluator terminal operated by an evaluator who receives evaluation of a programming skill connected via a network. At least one of a programming requirement transmitting unit, a source code receiving unit that receives a source code of a program created by the evaluator from the evaluator terminal based on the programming requirement, and a CPU, a storage device, or a network The virtual execution environment construction means for constructing an isolated virtual execution environment for executing the source code, which is blocked from accessing the outside by restricting the resources, and the virtual constructed by the virtual execution environment construction means Execution environment Source code execution means for executing the source code received by the source code receiving means, and source code evaluation for evaluating the source code based on a predetermined evaluation rule from the execution result of the source code by the source code execution means Means, and evaluation information storage means for storing the evaluation of the source code by the source code evaluation means as evaluation information of the evaluation subject's programming skill in a storage means for storing information on the evaluation subject, and by the source code evaluation means At a predetermined timing after the evaluation of the source code, the entire virtual execution environment is discarded by deleting information stored in the virtual execution environment that executed the source code and discarding the process being executed. programming, characterized in that it comprises a virtual execution environment discarding means, the A programming skill evaluation device, characterized in that it comprises the skill evaluation device.

本発明では、プログラミングスキルの被評価者に対して課題となるプログラミング要件を送信し、被評価者が作成したプログラムのソースコードを受信してこれを評価するよう構成することによって、面談等を伴わないオンライン上でのプログラミングスキルの評価を可能にするとともに、多数の被評価者の中に悪意のある者が紛れ込みウィルス等の有害なプログラムが送信されるリスクに対応するために、ソースコードを隔離された仮想実行環境で実行する構成としている。   In the present invention, a programming requirement that is a problem is transmitted to the person to be evaluated of the programming skill, and the source code of the program created by the person to be evaluated is received and evaluated so that no interview or the like is involved. In order to enable online evaluation of programming skills and to deal with the risk of malicious persons being introduced into a large number of evaluated persons and sending harmful programs such as viruses, the source code is isolated. It is configured to execute in a virtual execution environment.

このように構成すると、ウィルス等の有害なプログラムが送信されてきた場合にも、隔離された仮想実行環境で実行されたソースコードが廃棄されるので、評価装置の安全性をさらに高めることに資するものとなる。   With this configuration, even when a harmful program such as a virus is transmitted, the source code executed in the isolated virtual execution environment is discarded, which contributes to further improving the safety of the evaluation apparatus. It will be a thing.

さらに、本発明のプログラミングスキル評価装置は、前記ソースコード受信手段が受信したソースコードを、被評価者が作成したソースコードを格納するための格納手段に保存するソースコード保存手段を備えることを特徴としてもよい。   Furthermore, the programming skill evaluation apparatus of the present invention is characterized by comprising source code storage means for storing the source code received by the source code reception means in a storage means for storing the source code created by the evaluator. Also good.

このように構成すると、被評価者から受信したソースコードの評価がシステムエラー等で適切に行われなかった場合にも、再度ソースコードを読み出して実行することが可能になり、再現性に優れた構成となる。   With this configuration, even when the source code received from the evaluator is not properly evaluated due to a system error or the like, the source code can be read and executed again, and the reproducibility is excellent. It becomes composition.

さらに、本発明のプログラミングスキル評価装置は、前記ソースコード評価手段は、前記ソースコード受信手段が受信したソースコードの実行速度、又は前記ソースコード実行時の使用メモリ量の少なくとも1つを測定して、前記ソースコードの評価を行うことを特徴としてもよい。   Furthermore, in the programming skill evaluation apparatus of the present invention, the source code evaluation means measures at least one of an execution speed of the source code received by the source code reception means or an amount of memory used when the source code is executed, The source code may be evaluated.

ソースコードの評価方法は特に限定されるものではないが、実行速度や実行時のメモリ量を測定すれば、被評価者のプログラミングスキルの評価に活用することが可能になる。   The method for evaluating the source code is not particularly limited, but if the execution speed and the memory amount at the time of execution are measured, it can be used for evaluating the programming skill of the evaluator.

また、本発明は、本発明にかかるプログラミングスキル評価装置によって実行されるプログラミングスキルの評価方法として特定することもできる。   The present invention can also be specified as a programming skill evaluation method executed by the programming skill evaluation apparatus according to the present invention.

つまり、プログラミングスキルの評価方法に関する本発明は、プログラミングスキルの評価を受ける被評価者が操作する被評価者端末とネットワークを介して接続されたコンピュータが、前記被評価者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信ステップと、前記コンピュータが、前記被評価者端末から、前記プログラミング要件に基づいて前記被評価者が作成したプログラムのソースコードを受信するソースコード受信ステップと、前記コンピュータが、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築ステップと、前記コンピュータが、前記仮想実行環境構築ステップで構築された仮想実行環境において、前記ソースコード受信ステップで受信したソースコードを実行するソースコード実行ステップと、前記コンピュータが、前記ソースコード実行ステップにおけるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価ステップと、前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価を前記被評価者のプログラミングスキルの評価情報として、被評価者に関する情報を格納する格納手段に保存する評価情報保存ステップと、前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄ステップと、を有することを特徴とするプログラミングスキルの評価方法である。
In other words, the present invention relating to a programming skill evaluation method is such that a computer connected via a network to an evaluator terminal operated by an evaluator who receives an evaluation of programming skill becomes an evaluation target of the programming skill to the evaluator terminal. A programming requirement transmitting step of transmitting a programming requirement of the program; and a source code receiving step of receiving, from the evaluated terminal, the source code of the program created by the evaluated person based on the programming requirement from the evaluated terminal. A virtual execution environment configuration for constructing an isolated virtual execution environment for executing the source code, wherein the computer blocks access to the outside by restricting resources of at least one of a CPU, a storage device, and a network. A source code execution step in which the computer executes the source code received in the source code reception step in the virtual execution environment constructed in the virtual execution environment construction step; and the computer performs the source code execution step. A source code evaluation step for evaluating the source code based on a predetermined evaluation rule from the execution result of the source code in step (a), and the computer evaluating the source code in the source code evaluation step for evaluating the programming skill of the evaluator as information, the evaluation information storage step of storing in the storage means for storing information about a rater, the computer at a predetermined timing after the evaluation of the source code in the source code evaluation step is performed, the source By discarding process deletion and running of the information stored in the virtual execution environment running over de, programming skills characterized by having a virtual execution environment disposal step of discarding the entire virtual execution environment It is an evaluation method.

また、本発明のプログラミングスキルの評価方法は、前述のプログラミングスキル評価装置の各々の構成に対応して実行されるプログラミングスキルの評価方法として特定することもできる。   The programming skill evaluation method of the present invention can also be specified as a programming skill evaluation method executed corresponding to each configuration of the above-described programming skill evaluation apparatus.

本願にかかる課題を解決する求人情報選択装置に関する発明は、応募要件として求職者に要求されるプログラミングスキルのレベルが含まれる求人情報を格納する求人情報格納手段と、ネットワークを介して接続された求人情報の提供を希望する求職者が操作する求職者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信手段と、前記求職者端末から、前記プログラミング要件に基づいて前記求職者が作成したプログラムのソースコードを受信するソースコード受信手段と、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築手段と、前記仮想実行環境構築手段によって構築された仮想実行環境において、前記ソースコード受信手段が受信したソースコードを実行するソースコード実行手段と、前記ソースコード実行手段によるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価手段と、前記ソースコード評価手段によるソースコードの評価を用いて前記求職者のプログラミングスキルのレベルを判定し、前記求人情報格納手段を検索して、前記求職者のプログラミングスキルのレベルが応募要件に合致する求人情報を選択する求人情報選択手段と、前記ソースコード評価手段によるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄手段と、を備えることを特徴とする求人情報選択装置を備えることを特徴とする求人情報選択装置である。
The invention relating to a job information selection device that solves the problem relating to the present application is a job information storage means for storing job information including a level of programming skills required of job seekers as application requirements, and job information connected via a network. The job seeker who wants to provide a programming requirement transmitting means for transmitting a programming requirement of a program to be evaluated for programming skills to a job seeker terminal operated by the job seeker terminal, and from the job applicant terminal, the job applicant is based on the programming requirement. Source code receiving means for receiving the source code of the created program, and isolation for executing the source code, wherein access to the outside is blocked by restricting resources of at least one of the CPU, storage device or network Virtual to build a virtual execution environment Execution environment construction means, source code execution means for executing source code received by the source code reception means in the virtual execution environment constructed by the virtual execution environment construction means, and execution of source code by the source code execution means Based on the result, the source code evaluation means for evaluating the source code based on a predetermined evaluation rule, and the level of the programming skill of the job seeker is determined using the evaluation of the source code by the source code evaluation means, and the job information is stored The job information selection means for searching for means and selecting job information for which the level of the programming skill of the job seeker matches the application requirements, and at a predetermined timing after the evaluation of the source code by the source code evaluation means Stored in the virtual execution environment that executed the source code By discarding process deletion and during the execution of the broadcast, Jobs selection, characterized in that it comprises a job selection device characterized by comprising a virtual execution environment discarding means for discarding the entire virtual execution environment Device.

さらに、本発明の求人情報選択装置は、前記ソースコード受信手段が受信したソースコードを、被評価者が作成したソースコードを格納するための格納手段に保存するソースコード保存手段を備えることを特徴としてもよい。   Further, the job information selection apparatus of the present invention further comprises source code storage means for storing the source code received by the source code receiving means in a storage means for storing the source code created by the evaluator. It is good.

さらに、本発明の求人情報選択装置は、前記ソースコード評価手段は、前記ソースコード受信手段が受信したソースコードの実行速度、又は前記ソースコード実行時の使用メモリ量の少なくとも1つを測定して、前記ソースコードの評価を行うことを特徴としてもよい。   Further, in the job information selection apparatus of the present invention, the source code evaluation unit measures at least one of an execution speed of the source code received by the source code receiving unit or an amount of memory used when the source code is executed. The source code may be evaluated.

また、本発明は、本発明にかかる求人情報選択装置によって実行される求人情報の選択方法として特定することもできる。   Moreover, this invention can also be specified as the selection method of the recruitment information performed by the recruitment information selection apparatus concerning this invention.

つまり、求人情報の選択方法に関する本発明は、求人情報の提供を希望する求職者が操作する求職者端末とネットワークを介して接続されたコンピュータが、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信ステップと、前記コンピュータが、前記求職者端末から、前記プログラミング要件に基づいて前記求職者が作成したプログラムのソースコードを受信するソースコード受信ステップと、前記コンピュータが、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築ステップと、前記コンピュータが、前記仮想実行環境構築ステップで構築された仮想実行環境において、前記ソースコード受信ステップで受信したソースコードを実行するソースコード実行ステップと、前記コンピュータが、前記ソースコード実行ステップにおけるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価ステップと、前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価を用いて前記求職者のプログラミングスキルのレベルを判定し、応募要件として求職者に要求されるプログラミングスキルのレベルが含まれる求人情報を格納する求人情報格納手段を検索して、前記求職者のプログラミングスキルのレベルが応募要件に合致する求人情報を選択する求人情報選択ステップと、前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄ステップと、を有することを特徴とする求人情報の選択方法を有することを特徴とする求人情報の選択方法である。 In other words, the present invention relating to a method for selecting job information is that a computer connected via a network to a job seeker terminal operated by a job seeker who wants to provide job information transmits the programming requirements of a program to be evaluated for programming skills. A programming requirement sending step, a source code receiving step in which the computer receives a source code of a program created by the job seeker based on the programming requirement from the job seeker terminal, and the computer comprises a CPU and a storage device Or a virtual execution environment construction step of constructing an isolated virtual execution environment for executing the source code, wherein access to the outside is blocked by performing resource limitation of at least one of the network; and Virtual execution environment In the virtual execution environment constructed in the construction step, the source code execution step for executing the source code received in the source code reception step, and the computer performs a predetermined evaluation from the execution result of the source code in the source code execution step A source code evaluation step for evaluating the source code based on a rule, and the computer determines the level of the programming skill of the job seeker using the evaluation of the source code in the source code evaluation step, It searches the job information storage means for storing job information including the required programming skills levels, and job information selection step of the level of programming skill of the job seeker to select a job that matches the entry requirements, the computer By deleting the information stored in the virtual execution environment that executed the source code and discarding the process being executed at a predetermined timing after the source code is evaluated in the source code evaluation step, the virtual code is deleted. A job recruitment information selection method comprising: a job execution information selection method comprising: a virtual execution environment discard step for discarding the entire execution environment .

また、本発明の求人情報の選択方法は、前述の求人情報選択装置の各々の構成に対応して実行される求人情報の選択方法として特定することもできる。   The job information selection method of the present invention can also be specified as a job information selection method executed corresponding to each configuration of the aforementioned job information selection device.

本発明によると、ITエンジニアのプログラミングスキルの評価を、正確かつ効率的に、さらに評価者側のシステムの安全性も確保しながら、オンラインのみで実施することが可能になる。本発明は、特に、採用試験のように不特定多数の被評価者を対象とするケースに好適であり、プログラミングスキルの評価が一定レベル以上の求職者に限って求人情報を提供することによって、求人企業等には実務試験や職務経歴等から実務能力の評価するプロセスを省略し、採用活動の効率化に資するものとなる。   According to the present invention, it becomes possible to evaluate an IT engineer's programming skill accurately and efficiently, and only online while ensuring the safety of the evaluator's system. The present invention is particularly suitable for a case where a large number of unspecified persons are targeted, such as an employment test, and provides job information only to job seekers whose programming skill evaluation is equal to or higher than a certain level. For companies, etc., the process of evaluating practical ability from the practical examination and work history is omitted, which contributes to the efficiency of recruitment activities.

また、求職者からみると、応募要件に合致する求人情報を探す場合に、実務能力等に関する書類選考を経ることなく面接可能な求人情報のみを選択して提供することが可能になり、転職活動や就職活動の負担軽減に資することが期待できるものとなる。   From the viewpoint of job seekers, when searching for job information that meets the application requirements, it is possible to select and provide only job information that can be interviewed without going through the screening of documents regarding practical skills. It can be expected to help reduce the burden of job hunting.

本発明の第1の実施形態の概要を示す図である。It is a figure which shows the outline | summary of the 1st Embodiment of this invention. 本発明の第2の実施形態の概要を示す図である。It is a figure which shows the outline | summary of the 2nd Embodiment of this invention. 本発明の第3の実施形態の概要を示す図である。It is a figure which shows the outline | summary of the 3rd Embodiment of this invention. 本発明の第1の実施形態における構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure in the 1st Embodiment of this invention. 本発明の第1の実施形態で、求職者に求人情報を提供するまでのフローを示す図である。In the 1st Embodiment of this invention, it is a figure which shows the flow until it provides job offer information to a job seeker. 本発明の第2の実施形態で、求人企業が求職者のスキル評価の結果を閲覧するまでのフローを示す図である。In the 2nd Embodiment of this invention, it is a figure which shows the flow until a recruiting company browses the result of skill evaluation of a job seeker. 本発明の第3の実施形態で、利用企業が社員のスキル評価の結果を閲覧するまでのフローを示す図である。It is a figure which shows the flow until a utilization company browses the result of the skill evaluation of an employee in the 3rd Embodiment of this invention. 本発明にかかるプログラミングスキル評価装置による被評価者が作成したプログラムのソースコードを評価するフローを示す第1のフローチャートである。It is a 1st flowchart which shows the flow which evaluates the source code of the program which the to-be-evaluated person created by the programming skill evaluation apparatus concerning this invention. 本発明にかかるプログラミングスキル評価装置による被評価者が作成したプログラムのソースコードを評価するフローを示す第2のフローチャートである。It is a 2nd flowchart which shows the flow which evaluates the source code of the program which the to-be-evaluated person created by the programming skill evaluation apparatus concerning this invention. 本発明にかかるプログラミングスキル評価装置による被評価者が作成したプログラムのソースコードを評価するフローを示す第3のフローチャートである。It is a 3rd flowchart which shows the flow which evaluates the source code of the program which the to-be-evaluated person created by the programming skill evaluation apparatus concerning this invention.

本発明を実施するための形態について、図面を用いて以下に詳細に説明する。尚、以下の説明では、本発明を転職時における求人情報の提供、求人企業におけるプログラミングスキルの評価、利用企業における社員のプログラミングスキルの評価の3つの実施形態を示すが、これらはいずれも本発明の実施形態を例示したものであって、本発明の実施形態は以下の説明に限定されるものではない。   Embodiments for carrying out the present invention will be described below in detail with reference to the drawings. In the following description, the present invention will be described in three embodiments: job offer information at the time of job change, evaluation of programming skills at a recruiting company, and evaluation of employee programming skills at a user company. However, the embodiments of the present invention are not limited to the following description.

図1〜3は、それぞれ、転職時における求人情報の提供、求人企業におけるプログラミングスキルの評価、利用企業における社員のプログラミングスキルの評価のために本発明を実施する3つの実施形態の概要を示したものであり、以下、順に詳細を説明する。   FIGS. 1 to 3 respectively show an outline of three embodiments for carrying out the present invention for providing job information at the time of job change, evaluating programming skills in a recruiting company, and evaluating employee programming skills in a user company. There will be explained in detail below.

図1に示した第1の実施形態では、本発明を転職時における求人情報の提供に適用する。求人企業の担当者が求人情報提供サーバに送信した、応募要件にプログラミングスキルを含む転職者向けの求人情報は、求人データベースに登録される。この中から自らのプログラミングスキルが応募要件に合致する求人情報のみを選択したい求職者は、プログラミングスキルの評価を受けるために求人情報提供サーバにアクセスして、評価対象となるプログラムのプログラミング要件を受信する。   In the first embodiment shown in FIG. 1, the present invention is applied to provision of job information at the time of job change. The job posting information for job changers whose programming requirements are included in the application requirements, sent to the job offer information providing server by the person in charge at the job recruiting company, is registered in the job recruitment database. A job seeker who wants to select only job information whose programming skill matches the application requirements from among them accesses the job information providing server to receive the evaluation of the programming skill, and receives the programming requirement of the program to be evaluated.

求職者は受信したプログラミング要件に基づいてプログラムを作成し、求人情報提供サーバに送信する。求人情報提供サーバが受信したプログラムのソースコードはプログラムの評価を行うためのプログラム評価サーバに引き渡され、ここで実際にソースコードを実行することによってその評価を行い、評価結果を求人情報提供サーバに出力する。   The job seeker creates a program based on the received programming requirements and sends it to the job offer information providing server. The source code of the program received by the job offer server is delivered to a program evaluation server for evaluating the program. Here, the source code is actually executed to perform the evaluation, and the evaluation result is sent to the job offer server. Output.

求人情報提供サーバでは、プログラム評価サーバから出力された評価結果を用いて判断した応募者のプログラミングスキルに関する評価情報を評価データベースに書き込み、この評価情報とあらかじめ求職者データベースに登録されている求職者の年齢等の属性情報から、求人データベースを検索して応募要件に合致する求人情報を選択し、選択された求人情報を求職者に提供する。   In the job offer information providing server, the evaluation information on the applicant's programming skill determined using the evaluation result output from the program evaluation server is written in the evaluation database. From the attribute information, etc., the recruitment database is searched, the recruitment information that matches the application requirements is selected, and the selected recruitment information is provided to the job seeker.

図4は、第1の実施形態における本発明のシステム構成の一例を示したものである。図4のプログラム評価サーバ10及び求人情報提供サーバ20の機能の一部が、本発明にかかるプログラミングスキル評価装置及び求人情報選択装置に対応する。   FIG. 4 shows an example of the system configuration of the present invention in the first embodiment. Part of the functions of the program evaluation server 10 and the job offer information providing server 20 in FIG. 4 corresponds to the programming skill evaluation device and the job offer information selection device according to the present invention.

プログラム評価サーバ10は、CPU、メインメモリ、HDD等の補助記憶装置が備えられたコンピュータであって、補助記憶装置に格納されたプログラムがメインメモリに読み出され、CPUで演算処理を実行することによって、所定の機能が実現される。   The program evaluation server 10 is a computer provided with an auxiliary storage device such as a CPU, a main memory, and an HDD, and a program stored in the auxiliary storage device is read into the main memory, and an arithmetic process is executed by the CPU. Thus, a predetermined function is realized.

プログラム評価サーバ10を構成するコンピュータの物理的な構成は特に限定されるものではなく、本発明で用いられるソースコードの実行や評価以外の他の機能が同一のコンピュータに備えられるものであってもよい。本発明に必要な各々の機能は、物理的に一台のコンピュータによって実現されるものであってもよいし、複数のコンピュータを用いて実現されるものであってもよい。   The physical configuration of the computer constituting the program evaluation server 10 is not particularly limited, and functions other than the execution and evaluation of the source code used in the present invention may be provided in the same computer. Good. Each function necessary for the present invention may be physically realized by one computer or may be realized by using a plurality of computers.

プログラム評価サーバ10のソースコード受付部11、ソースコード実行部12、実行環境制御部13、ソースコード評価部14、評価結果出力部15は、いずれも機能的に特定されるものであって、HDD等の補助記憶装置に格納された各部の機能に対応するプログラムがメインメモリに読み出され、CPUで演算処理を実行することによって、各部に対応する機能が実現される。   The source code receiving unit 11, the source code execution unit 12, the execution environment control unit 13, the source code evaluation unit 14, and the evaluation result output unit 15 of the program evaluation server 10 are all functionally specified and are HDDs. The programs corresponding to the functions of the respective units stored in the auxiliary storage device such as the above are read into the main memory, and the functions corresponding to the respective units are realized by executing arithmetic processing by the CPU.

求人情報提供サーバ20は、CPU、メインメモリ、HDD等の補助記憶装置が備えられたインターネットに接続されたコンピュータであって、補助記憶装置に格納されたプログラムがメインメモリに読み出され、CPUで演算処理を実行することによって、所定の機能が実現される。   The recruitment information providing server 20 is a computer connected to the Internet equipped with an auxiliary storage device such as a CPU, main memory, HDD, etc., and a program stored in the auxiliary storage device is read into the main memory, and the CPU A predetermined function is realized by executing the arithmetic processing.

求人情報提供サーバ20を構成するコンピュータの物理的な構成も特に限定されるものではなく、本発明で用いられる求人情報の提供以外の他の機能が同一のコンピュータに備えられるものであってもよい。本発明に必要な各々の機能は、物理的に一台のコンピュータによって実現されるものであってもよいし、複数のコンピュータを用いて実現されるものであってもよい。また、プログラム評価サーバ10と一体で構成されるものであってもよい。   The physical configuration of the computer constituting the job offer information providing server 20 is not particularly limited, and other functions other than providing job offer information used in the present invention may be provided in the same computer. . Each function necessary for the present invention may be physically realized by one computer or may be realized by using a plurality of computers. Further, it may be configured integrally with the program evaluation server 10.

求人情報提供サーバ20の情報登録受付部21、要件送信部22、ソースコード受付部25、評価結果受付部27、マッチング処理部28、求人情報送信部29は、いずれも機能的に特定されるものであって、HDD等の補助記憶装置に格納された各部の機能に対応するプログラムがメインメモリに読み出され、CPUで演算処理を実行することによって、各部に対応する機能が実現される。   The information registration receiving unit 21, the requirement transmitting unit 22, the source code receiving unit 25, the evaluation result receiving unit 27, the matching processing unit 28, and the job posting information transmitting unit 29 of the job offer information providing server 20 are all functionally specified. A program corresponding to the function of each unit stored in an auxiliary storage device such as an HDD is read out to the main memory, and the function corresponding to each unit is realized by executing arithmetic processing by the CPU.

求人情報提供サーバ20の求人情報格納部22、求職者情報格納部23、評価情報格納部26には、それぞれHDD等の補助記憶装置の所定の記憶領域が割り当てられる。これらの記憶領域は物理的に一台のコンピュータに設けられることを要件とするものではなく、データベースサーバ等を構成するコンピュータなどの複数のコンピュータに設けられるものであってもよい。   A predetermined storage area of an auxiliary storage device such as an HDD is allocated to the job offer information storage unit 22, job seeker information storage unit 23, and evaluation information storage unit 26 of the job offer information providing server 20. These storage areas are not required to be physically provided in one computer, but may be provided in a plurality of computers such as computers constituting a database server or the like.

求人企業端末30、求職者端末40には、インターネットに接続可能なパーソナルコンピュータなどのネットワーク端末が用いられる。これらの端末には、CPU、メインメモリ、HDDやSSD等の補助記憶装置が備えられ、例えば、補助記憶装置にWebページを閲覧するためのWebブラウザを備えるよう構成すれば、Webブラウザに対応するプログラムがメインメモリに読み出され、CPUで演算処理を実行することによって、インターネットを介して求人情報提供サーバ20に接続して、様々なデータのやりとりが可能となる。   As the recruiting company terminal 30 and the job seeker terminal 40, a network terminal such as a personal computer connectable to the Internet is used. These terminals are provided with an auxiliary storage device such as a CPU, a main memory, an HDD, and an SSD. For example, if the auxiliary storage device is configured to include a Web browser for browsing a Web page, it corresponds to the Web browser. By reading the program into the main memory and executing arithmetic processing by the CPU, various data can be exchanged by connecting to the job offer server 20 via the Internet.

以上の構成を前提として、図5を用いて、第1の実施形態において、本発明を用いて求職者に求人情報を提供するまでの詳しいフローについて説明する。   Based on the above configuration, a detailed flow until providing job offer information to a job seeker using the present invention in the first embodiment will be described with reference to FIG.

ITエンジニアを募集する求人企業は、求人企業端末30からインターネットを介して求人情報提供サーバ20にアクセスして、求人情報のオンライン登録を行う。求人企業端末30から送信された求人情報は、求人情報提供サーバ20の情報登録受付部21で受け付けられ、求人情報格納部22(図5の求人DB)に保存されるが、ここに保存される求人情報の応募要件には、書類選考なしで面接に進める求職者のプログラミングスキルに関するレベルが設定されている。   A recruiting company recruiting IT engineers accesses the recruiting information providing server 20 from the recruiting company terminal 30 via the Internet, and performs online registration of the recruiting information. The job offer information transmitted from the job offer company terminal 30 is accepted by the information registration accepting unit 21 of the job offer information providing server 20 and is saved in the job offer information storage unit 22 (job offer DB in FIG. 5), but is saved here. In the job information application requirements, a level related to the programming skill of the job seeker who proceeds to the interview without selecting the documents is set.

一方、求人情報の提供を受けたい求職者であるITエンジニアは、求職者端末40からインターネットを介して求人情報提供サーバ20にアクセスして、求職者情報のオンライン登録を行う。求職者端末40から送信された求職者情報は、求人情報提供サーバ20の情報登録受付部21で受け付けられ、求職者情報格納部23(図5の求職者DB)に保存されるが、ここに保存される求職者情報には、性別や年齢、住所や電話番号等の連絡先の他に、保有資格などのプログラミングスキルに関連する情報を含むこととしてもよい。   On the other hand, an IT engineer who is a job seeker who wants to receive job offer information accesses the job offer information providing server 20 from the job seeker terminal 40 via the Internet and registers job seeker information online. The job seeker information transmitted from the job seeker terminal 40 is received by the information registration receiving unit 21 of the job offer information providing server 20 and stored in the job seeker information storage unit 23 (job seeker DB in FIG. 5). Stored job seeker information may include information related to programming skills such as qualifications, in addition to contact information such as gender, age, address and telephone number.

自らのプログラミングスキルのレベルで書類選考なしで面接への応募が可能な求人情報の提供を受けたい求職者は、求職者端末40からインターネットを介して求人情報提供サーバ20にアクセスして、プログラミングスキルの評価を受けるために、評価対象となるプログラムのプログラミング要件の送信を要求する。この要求は求人情報提供サーバ20の要件送信部24で受け付けられ、求職者端末40にプログラミング要件(プログラミングの内容及び要件)が送信される。   Job seekers who want to receive job offer information that can be applied for interviews without screening documents at the level of their programming skills access the job offer information server 20 from the job seeker terminal 40 via the Internet, and evaluate the programming skills. In order to receive the request, request the transmission of the programming requirements of the program to be evaluated. This request is received by the requirement transmission unit 24 of the job offer information providing server 20, and programming requirements (programming contents and requirements) are transmitted to the job seeker terminal 40.

尚、ここでのプログラミング要件の送受信に関する求職者端末40と求人情報提供サーバ20でのやり取りは、例えば、求職者用のWebページを設けて行えるように、求人情報提供サーバ20にWebサーバの機能を備えるよう構成すればよい。また、求職者用のWebページには、ID、パスワードなどの求職者情報格納部23に格納された求職者情報を用いて本人認証を行ってログインさせ、求職者を識別できるよう構成すればよい。   The exchange between the job seeker terminal 40 and the job offer information providing server 20 related to the transmission / reception of the programming requirements here can be performed by providing the job offer information providing server 20 with a Web server function so that, for example, a web page for the job seeker is provided. May be provided. Further, the job seeker Web page may be configured so that the job seeker can be identified by logging in by performing personal authentication using job seeker information stored in the job seeker information storage unit 23 such as an ID and a password. .

プログラミング要件を受信した求職者端末40では、求職者がプログラミング要件に基づいてプログラムを作成し、作成したプログラムのソースコードを求人情報提供サーバ20に送信する。プログラムの作成には、一定の制限時間を設けることが好ましい。求人情報提供サーバ20ではソースコード受付部25でソースコードを受信して、プログラム評価サーバ10(図5の実行サーバ及び評価サーバに対応)にソースコードを引き渡すが、受信したソースコードは、後に再評価することが可能なように、求職者の識別情報と関連づけて評価情報格納部26(図5のソースコードDBに対応)に保存するよう構成することが好ましい。   In the job seeker terminal 40 that has received the programming requirement, the job seeker creates a program based on the programming requirement, and transmits the source code of the created program to the job offer information providing server 20. It is preferable to set a certain time limit for creating the program. The recruitment information providing server 20 receives the source code at the source code receiving unit 25 and delivers the source code to the program evaluation server 10 (corresponding to the execution server and the evaluation server in FIG. 5). It is preferable that the evaluation information storage unit 26 (corresponding to the source code DB in FIG. 5) is stored in association with the identification information of the job seeker so that the evaluation can be performed.

プログラム評価サーバ10に引き渡されたソースコードはソースコード受付部11で受け付けられ、ソースコード実行部12(図5の隔離された仮想実行環境に対応)で実行されるが、このときに実行環境制御部13(図5の実行環境の管理システムに対応)が起動されて、受け付けたソースコードがウィルス等の有害なプログラムであった場合にもプログラム評価サーバ10を構成するコンピュータに影響を与えないように、外部へのアクセスを遮断した、ソースコードを実行するための隔離された仮想実行環境を構築する。   The source code delivered to the program evaluation server 10 is received by the source code receiving unit 11 and executed by the source code execution unit 12 (corresponding to the isolated virtual execution environment in FIG. 5). Even when the unit 13 (corresponding to the execution environment management system in FIG. 5) is activated and the received source code is a harmful program such as a virus, the computer constituting the program evaluation server 10 is not affected. In addition, an isolated virtual execution environment for executing the source code, which blocks access to the outside, is constructed.

ここで隔離された仮想実行環境を構築するための方法は特に限定されるものではないが、ソースコードの実行環境としてプログラム評価サーバ10を構成するコンピュータのCPU、メインメモリ、HDD、ネットワーク等のリソース制限を行うことによって、外部へのアクセスを遮断することが可能になる。   A method for constructing the isolated virtual execution environment is not particularly limited, but resources such as a CPU, a main memory, an HDD, and a network of a computer constituting the program evaluation server 10 as the source code execution environment By restricting, access to the outside can be blocked.

ソースコード実行部12においてソースコードが実行されると、ソースコード評価部14(図5の評価サーバに対応)が仕様通りの結果出力ができるかの正確性の評価とあわせて、実行速度、使用メモリ量等を計測して、これらの実行結果からソースコードを評価し、評価結果出力部15が評価結果に関する情報を求人情報提供サーバ20に出力する。   When the source code is executed in the source code execution unit 12, the source code evaluation unit 14 (corresponding to the evaluation server in FIG. 5) performs the output speed and use together with the evaluation of the accuracy of whether the result can be output as specified. The memory amount and the like are measured, the source code is evaluated from these execution results, and the evaluation result output unit 15 outputs information related to the evaluation results to the job offer information providing server 20.

尚、ソースコード評価部14においてソースコードの評価が行われた後には、実行環境制御部13によって、所定のタイミング(評価後直ちにでもよいし定期的にでもよい)で、ソースコードを実行した仮想実行環境全体を廃棄するように、仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄するよう構成することが好ましい。親となる環境の中に子プロセスとして仮想実行環境を構築し、親となる環境が子プロセスの仮想実行環境を廃棄する形で、ソースコードを含む仮想実行環境全体を廃棄するよう構成することによって、廃棄の処理を一定時間経過後に行うと、長時間終了しないような悪意あるコードが実行され、そのコードの実行が終わらなくても一定時間で仮想環境ごと廃棄されるため、ソースコードが悪意の求職者によって作成されたウィルス等の有害なプログラムであった場合にも、プログラム評価サーバ10を構成するコンピュータに影響を与えることなく、有害なプログラムから保護することが可能になる。   Note that after the source code is evaluated in the source code evaluation unit 14, the virtual environment in which the source code is executed by the execution environment control unit 13 at a predetermined timing (may be immediately after evaluation or may be periodically). It is preferable to configure to delete the information stored in the virtual execution environment and to discard the process being executed so as to discard the entire execution environment. By constructing a virtual execution environment as a child process in the parent environment and disposing the entire virtual execution environment including the source code in such a way that the parent environment discards the virtual execution environment of the child process. If the disposal process is performed after a certain period of time, malicious code that does not end for a long time is executed, and even if the execution of the code does not end, the virtual environment is discarded for a certain period of time. Even if it is a harmful program such as a virus created by a job seeker, it can be protected from the harmful program without affecting the computer constituting the program evaluation server 10.

また、実行したソースコードを削除した後に、システムエラーなどの理由でソースコードの評価を再度行うことが必要になった場合には、求人情報提供サーバ20にソースコードを要求し、評価情報格納部26に格納されたソースコードを読み出して、再度引き渡しを受けることができるように構成すればよい。   If it is necessary to evaluate the source code again after deleting the executed source code due to a system error or the like, the job information providing server 20 is requested to request the source code, and the evaluation information storage unit What is necessary is just to comprise so that the source code stored in 26 can be read and it can receive delivery again.

求人情報提供サーバ20では、先にプログラム評価サーバ10に引き渡したソースコードの評価結果を評価結果受付部27で受け付けて、求職者のプログラミングスキルに関する評価情報として、求職者の識別情報と関連づけて評価情報格納部26(図5の評価結果DB)に格納する。評価情報には、ソースコードの実行時に計測した実行速度、使用メモリ量等の実行結果に関する情報そのものを含むこととしてもよい。   In the job offer information providing server 20, the evaluation result receiving unit 27 receives the evaluation result of the source code delivered to the program evaluation server 10, and the evaluation information is associated with the job seeker's identification information as evaluation information related to the job seeker's programming skill. The data is stored in the storage unit 26 (evaluation result DB in FIG. 5). The evaluation information may include information on the execution result such as the execution speed measured at the time of executing the source code and the amount of used memory.

続いて、マッチング処理部28(図5のマッチングサーバに対応)が起動され、評価情報格納部26に格納した評価情報と、あらかじめ求職者情報格納部23に登録されている求職者の年齢や保有資格等の求職者情報から求人情報格納部22を検索して、書類選考なしで面接に進むための応募要件に合致する求人情報を選択し、選択された求人情報を求人情報送信部29から求職者端末40に送信する。このようなマッチング処理によって、求職者は書類選考なしで面接に進める求人情報のみの提供を受けることが可能になり、転職活動の負担が軽減されるものである。   Subsequently, the matching processing unit 28 (corresponding to the matching server in FIG. 5) is activated, and the evaluation information stored in the evaluation information storage unit 26 and the age and possession of the job seeker registered in the job seeker information storage unit 23 in advance. Search the job offer information storage unit 22 from job seeker information such as qualifications, select job offer information that meets the application requirements for proceeding to the interview without selecting documents, and select the selected job offer information from the job offer information sending unit 29 To the person terminal 40. Through such a matching process, the job seeker can be provided with only job offer information to proceed to the interview without selecting a document, thereby reducing the burden of job change activities.

図2に示した第2の実施形態では、本発明を求人企業におけるプログラミングスキルの評価に適用する。プログラム評価サーバの機能は第1の実施形態と同様であり、図2の評価情報管理サーバが第1の実施形態における求人情報提供サーバに対応するが、求職者のプログラミングスキルの評価結果は、求人情報のマッチングに用いられるのではなく、求人企業の担当者が評価情報を格納するデータベースにアクセスして、評価結果を確認する構成となる。   In the second embodiment shown in FIG. 2, the present invention is applied to evaluation of programming skills in a recruiting company. The function of the program evaluation server is the same as that of the first embodiment, and the evaluation information management server of FIG. 2 corresponds to the job information providing server in the first embodiment. Rather than being used for matching, the person in charge of the recruiting company accesses the database storing the evaluation information and confirms the evaluation result.

すなわち、第2の実施形態では、図4に示した第1の実施形態のシステム構成に対して、求人情報提供サーバ20は求人情報格納部22とマッチング処理部28、求人情報送信部29を備えない評価情報管理サーバとなり、求人企業端末30から評価情報格納部26に格納された少なくとも一部の情報が閲覧可能な構成となる。   That is, in the second embodiment, the job offer information providing server 20 includes a job offer information storage unit 22, a matching processing unit 28, and a job offer information transmission unit 29, compared to the system configuration of the first embodiment shown in FIG. The evaluation information management server does not exist, and at least a part of the information stored in the evaluation information storage unit 26 can be viewed from the recruiting company terminal 30.

図6は、第2の実施形態において、本発明を用いて求人企業が求職者のスキル評価の結果を閲覧するまでの詳しいフローを示したものであるが、求職者が応募書類を提出して求人への応募を行うと、書類選考をクリアした求職者に関する情報が求職者情報格納部23(図6の求職者管理DBに対応)に登録され、プログラミングスキルの評価を受けるためのWebページが求職者に通知される。以降、プログラミングスキルの評価を行うフローは第1の実施形態と同様であるが、評価情報格納部26に格納された評価結果は、求人企業端末30から閲覧することが可能となる。   FIG. 6 shows a detailed flow until the recruiting company browses the result of skill evaluation of the job seeker using the present invention in the second embodiment. The job seeker submits application documents. When a job application is made, information on the job seeker who has cleared the document selection is registered in the job seeker information storage unit 23 (corresponding to the job seeker management DB in FIG. 6), and a web page for receiving evaluation of programming skills is found. Will be notified. Thereafter, the flow for evaluating the programming skill is the same as that in the first embodiment, but the evaluation result stored in the evaluation information storage unit 26 can be viewed from the job offer company terminal 30.

図3に示した第3の実施形態では、本発明を、本発明の利用企業における社員のプログラミングスキルの評価に適用する。プログラム評価サーバの機能は第1の実施形態と同様であり、図3の評価情報管理サーバが第1の実施形態における求人情報提供サーバに対応するが、受験者となる社員のプログラミングスキルの評価結果は、求人情報のマッチングに用いられるのではなく、利用企業の人事等の担当者が評価情報を格納するデータベースにアクセスして、評価結果を確認する構成となる。   In the third embodiment shown in FIG. 3, the present invention is applied to the evaluation of programming skills of employees in a company using the present invention. The function of the program evaluation server is the same as that of the first embodiment, and the evaluation information management server of FIG. 3 corresponds to the job offer information providing server in the first embodiment. Instead of being used for matching job information, a person in charge such as personnel of a user company accesses a database storing evaluation information and confirms the evaluation result.

すなわち、第3の実施形態では、図4に示した第1の実施形態のシステム構成に対して、求人情報提供サーバ20は求人情報格納部22とマッチング処理部28、求人情報送信部29を備えない評価情報管理サーバとなり、求職者端末40は受験者端末となって、利用企業端末に対応する求人企業端末30から評価情報格納部26に格納された少なくとも一部の情報が閲覧可能な構成となる。   That is, in the third embodiment, in contrast to the system configuration of the first embodiment shown in FIG. 4, the job offer information providing server 20 includes a job offer information storage unit 22, a matching processing unit 28, and a job offer information transmission unit 29. A configuration in which at least a part of information stored in the evaluation information storage unit 26 can be browsed from the recruiting company terminal 30 corresponding to the user company terminal. Become.

図7は、第3の実施形態において、本発明を用いて利用企業が社員スキル評価の結果を閲覧するまでの詳しいフローを示したものであるが、利用企業の人事等の担当者がプログラミングスキルの評価を受ける利用者に関する情報を求職者(利用者)情報格納部23(図7の利用者管理DBに対応)に登録すると、プログラミングスキルの評価を受けるためのWebページが利用者として登録された社員に通知される。以降、プログラミングスキルの評価を行うフローは第1の実施形態と同様であるが、評価情報格納部26に格納された評価結果は、求人企業(利用企業)端末30から閲覧することが可能となる。   FIG. 7 shows a detailed flow until the user company browses the result of the employee skill evaluation using the present invention in the third embodiment. Employees whose Web pages for receiving evaluation of programming skills are registered as users when information on users to be evaluated is registered in the job seeker (user) information storage unit 23 (corresponding to the user management DB in FIG. 7). Will be notified. Thereafter, the flow for evaluating the programming skill is the same as in the first embodiment, but the evaluation result stored in the evaluation information storage unit 26 can be viewed from the recruiting company (use company) terminal 30.

以上に説明した、第1〜3の実施形態に共通する、本発明にかかるプログラミングスキル評価装置による被評価者が作成したプログラムのソースコードを評価するフローを示したのが、図8〜図10のフローチャートである。   The flow of evaluating the source code of the program created by the person to be evaluated by the programming skill evaluation apparatus according to the present invention common to the first to third embodiments described above is shown in FIGS. It is a flowchart.

図8のフローチャートは、求人情報提供サーバ(又は評価情報管理サーバ)がソースコードを受け付けるフローを示している。被評価者である求職者(又は社員)が操作する端末から、評価対象となるプログラムのプログラミング要件の送信要求を受け付けると(S01)、被評価者が登録された求職者(又は社員)であるかの認証を行って(S02)、認証OKとなれば評価対象となるプログラムのプログラミング要件を端末に送信する(S03)。   The flowchart of FIG. 8 shows a flow in which the job offer information providing server (or evaluation information management server) receives the source code. When a request for sending a programming requirement of a program to be evaluated is received from a terminal operated by a job seeker (or employee) who is an evaluated person (S01), the evaluated person is a registered job applicant (or employee). Is authenticated (S02), and if the authentication is OK, the programming requirements of the program to be evaluated are transmitted to the terminal (S03).

所定の制限時間内に、端末からプログラミング要件に基づいて作成されたプログラムのソースコードを受信すると(S04)、受信したソースコードを被評価者の識別情報等と関連づけて保存するとともに(S05)、プログラム評価サーバに受信したソースコードを出力して(S06)、その評価結果を受け付けるまで待機する。   When the source code of the program created based on the programming requirements is received from the terminal within the predetermined time limit (S04), the received source code is stored in association with the identification information of the person being evaluated (S05), The received source code is output to the program evaluation server (S06) and waits until the evaluation result is accepted.

図9のフローチャートは、プログラム評価サーバがソースコードを評価するフローを示している。求人情報提供サーバ(又は評価情報管理サーバ)から出力されたソースコードを受け付けると(S11)、CPU、メインメモリ、HDD、ネットワーク等のリソース制限を行い、外部へのアクセスを遮断したソースコードを実行するための隔離された仮想実行環境を構築する(S12)。構築された仮想実行環境でソースコードを実行し、実行速度、使用メモリ量等を計測してソースコードの評価を行う(S13)。   The flowchart of FIG. 9 shows a flow in which the program evaluation server evaluates the source code. When the source code output from the job information server (or evaluation information management server) is received (S11), the CPU, main memory, HDD, network, and other resources are restricted and access to the outside is executed. An isolated virtual execution environment is established for the purpose (S12). The source code is executed in the constructed virtual execution environment, and the execution speed, the amount of memory used, etc. are measured to evaluate the source code (S13).

ソースコードの評価結果は、求人情報提供サーバ(又は評価情報管理サーバ)に出力されるとともに(S14)、ソースコードを実行した仮想実行環境に記憶された情報を削除し、仮想実行環境からの外部へのアクセスの遮断を解除することによって、仮想実行環境が廃棄される(S15)。   The evaluation result of the source code is output to the job offer information providing server (or evaluation information management server) (S14), and the information stored in the virtual execution environment that executed the source code is deleted, and the external result from the virtual execution environment is deleted. By canceling the block of access to the virtual execution environment, the virtual execution environment is discarded (S15).

図10のフローチャートは、求人情報提供サーバ(又は評価情報管理サーバ)がソースコードの評価情報を受け付けるフローを示している。プログラム評価サーバから出力されたソースコードの評価結果を受け付けると(S07)、受け付けた評価結果を含む被評価者のプログラミングスキルの評価情報をデータベースに保存する(S08)。   The flowchart of FIG. 10 shows a flow in which the job offer information providing server (or the evaluation information management server) receives the evaluation information of the source code. When the evaluation result of the source code output from the program evaluation server is received (S07), the evaluation information of the programming skill of the evaluated person including the received evaluation result is stored in the database (S08).

その後、第1の実施形態では求人情報とのマッチングとプログラミングスキルを含めた応募要件に合致する求人情報の被評価者への送信、第2、第3の実施形態では求人企業等の評価者からのアクセスに応じた評価情報の提供が行われることになる。   Thereafter, in the first embodiment, matching with job information and transmission of job information that matches the application requirements including programming skills to the evaluated person, and in the second and third embodiments, from an evaluator such as a job company. Evaluation information corresponding to access will be provided.

10 プログラム評価サーバ
11 ソースコード受付部
12 ソースコード実行部
13 実行環境制御部
14 ソースコード評価部
15 評価結果出力部
20 求人情報提供サーバ
21 情報登録受付部
22 求人情報格納部
23 求職者情報格納部
24 要件送信部
25 ソースコード受付部
26 評価情報格納部
27 評価結果受付部
28 マッチング処理部
29 求人情報送信部
30 求人企業端末
40 求職者端末
DESCRIPTION OF SYMBOLS 10 Program evaluation server 11 Source code reception part 12 Source code execution part 13 Execution environment control part 14 Source code evaluation part 15 Evaluation result output part 20 Job offer information provision server 21 Information registration reception part 22 Job offer information storage part 23 Job seeker information storage part 24 requirement transmission unit 25 source code reception unit 26 evaluation information storage unit 27 evaluation result reception unit 28 matching processing unit 29 job offer information transmission unit 30 job offer company terminal 40 job seeker terminal

Claims (4)

ネットワークを介して接続されたプログラミングスキルの評価を受ける被評価者が操作する被評価者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信手段と、
前記被評価者端末から、前記プログラミング要件に基づいて前記被評価者が作成したプログラムのソースコードを受信するソースコード受信手段と、
CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築手段と、
前記仮想実行環境構築手段によって構築された仮想実行環境において、前記ソースコード受信手段が受信したソースコードを実行するソースコード実行手段と、
前記ソースコード実行手段によるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価手段と、
前記ソースコード評価手段によるソースコードの評価を前記被評価者のプログラミングスキルの評価情報として、被評価者に関する情報を格納する格納手段に保存する評価情報保存手段と、
前記ソースコード評価手段によるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄手段と、
を備えることを特徴とするプログラミングスキル評価装置。
A programming requirement transmission means for transmitting a programming requirement of a program to be evaluated for a programming skill to an evaluator terminal operated by an evaluated subject who is evaluated for a programming skill connected via a network;
Source code receiving means for receiving source code of a program created by the evaluator from the evaluator terminal based on the programming requirements;
A virtual execution environment construction means for constructing an isolated virtual execution environment for executing the source code, wherein access to the outside is blocked by restricting resources of at least one of a CPU, a storage device, and a network;
Source code execution means for executing the source code received by the source code reception means in the virtual execution environment constructed by the virtual execution environment construction means;
From the source code execution result by the source code execution means, source code evaluation means for evaluating the source code based on a predetermined evaluation rule;
Evaluation information storage means for storing the evaluation of the source code by the source code evaluation means as evaluation information of the evaluation subject's programming skill in a storage means for storing information on the evaluation subject,
By deleting the information stored in the virtual execution environment in which the source code is executed and discarding the process being executed at a predetermined timing after the source code is evaluated by the source code evaluation unit, the virtual code is deleted. A virtual execution environment discarding means for discarding the entire execution environment;
A programming skill evaluation apparatus comprising:
プログラミングスキルの評価を受ける被評価者が操作する被評価者端末とネットワークを介して接続されたコンピュータが、前記被評価者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信ステップと、
前記コンピュータが、前記被評価者端末から、前記プログラミング要件に基づいて前記被評価者が作成したプログラムのソースコードを受信するソースコード受信ステップと、
前記コンピュータが、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築ステップと、
前記コンピュータが、前記仮想実行環境構築ステップで構築された仮想実行環境において、前記ソースコード受信ステップで受信したソースコードを実行するソースコード実行ステップと、
前記コンピュータが、前記ソースコード実行ステップにおけるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価ステップと、
前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価を前記被評価者のプログラミングスキルの評価情報として、被評価者に関する情報を格納する格納手段に保存する評価情報保存ステップと、
前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄ステップと、
を有することを特徴とするプログラミングスキルの評価方法。
A programming requirement transmission step in which a computer connected via a network to an evaluator terminal operated by an evaluator receiving programming skill evaluation transmits a programming requirement of a program to be evaluated for programming skill to the evaluator terminal. When,
A source code receiving step in which the computer receives source code of a program created by the evaluator based on the programming requirements from the evaluator terminal;
Construction of a virtual execution environment for constructing an isolated virtual execution environment for executing the source code, in which the computer blocks access to the outside by restricting resources of at least one of a CPU, a storage device, and a network Steps,
A source code execution step in which the computer executes the source code received in the source code reception step in the virtual execution environment constructed in the virtual execution environment construction step;
A source code evaluation step in which the computer evaluates the source code based on a predetermined evaluation rule from the execution result of the source code in the source code execution step;
An evaluation information storing step in which the computer stores the evaluation of the source code in the source code evaluation step as evaluation information of the programming skill of the evaluated person in a storage unit that stores information on the evaluated person;
The computer deletes information stored in the virtual execution environment that executed the source code and discards the process being executed at a predetermined timing after the source code is evaluated in the source code evaluation step. A virtual execution environment discarding step for discarding the entire virtual execution environment,
A programming skill evaluation method characterized by comprising:
応募要件として求職者に要求されるプログラミングスキルのレベルが含まれる求人情報を格納する求人情報格納手段と、
ネットワークを介して接続された求人情報の提供を希望する求職者が操作する求職者端末に、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信手段と、
前記求職者端末から、前記プログラミング要件に基づいて前記求職者が作成したプログラムのソースコードを受信するソースコード受信手段と、
CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築手段と、
前記仮想実行環境構築手段によって構築された仮想実行環境において、前記ソースコード受信手段が受信したソースコードを実行するソースコード実行手段と、
前記ソースコード実行手段によるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価手段と、
前記ソースコード評価手段によるソースコードの評価を用いて前記求職者のプログラミングスキルのレベルを判定し、前記求人情報格納手段を検索して、前記求職者のプログラミングスキルのレベルが応募要件に合致する求人情報を選択する求人情報選択手段と、
前記ソースコード評価手段によるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄手段と、
を備えることを特徴とする求人情報選択装置。
Job offer information storage means for storing job offer information including the level of programming skills required of job seekers as application requirements;
A programming requirement transmitting means for transmitting a programming requirement of a program to be evaluated for programming skills to a job applicant terminal operated by a job applicant who desires to provide job information connected via a network;
Source code receiving means for receiving source code of a program created by the job seeker based on the programming requirements from the job seeker terminal;
A virtual execution environment construction means for constructing an isolated virtual execution environment for executing the source code, wherein access to the outside is blocked by restricting resources of at least one of a CPU, a storage device, and a network;
Source code execution means for executing the source code received by the source code reception means in the virtual execution environment constructed by the virtual execution environment construction means;
From the source code execution result by the source code execution means, source code evaluation means for evaluating the source code based on a predetermined evaluation rule;
Using the evaluation of the source code by the source code evaluation means, the level of the job seeker's programming skill is determined, the job offer information storage means is searched, and job offer information whose job seeker's programming skill level matches the application requirements is obtained. Job information selection means to select;
By deleting the information stored in the virtual execution environment in which the source code is executed and discarding the process being executed at a predetermined timing after the source code is evaluated by the source code evaluation unit, the virtual code is deleted. A virtual execution environment discarding means for discarding the entire execution environment;
A job information selection device comprising:
求人情報の提供を希望する求職者が操作する求職者端末とネットワークを介して接続されたコンピュータが、プログラミングスキルの評価対象となるプログラムのプログラミング要件を送信するプログラミング要件送信ステップと、
前記コンピュータが、前記求職者端末から、前記プログラミング要件に基づいて前記求職者が作成したプログラムのソースコードを受信するソースコード受信ステップと、
前記コンピュータが、CPU、記憶装置又はネットワークの少なくともいずれかのリソース制限を行うことによって外部へのアクセスを遮断した、前記ソースコードを実行するための隔離された仮想実行環境を構築する仮想実行環境構築ステップと、
前記コンピュータが、前記仮想実行環境構築ステップで構築された仮想実行環境において、前記ソースコード受信ステップで受信したソースコードを実行するソースコード実行ステップと、
前記コンピュータが、前記ソースコード実行ステップにおけるソースコードの実行結果から、所定の評価ルールに基づき前記ソースコードの評価を行うソースコード評価ステップと、
前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価を用いて前記求職者のプログラミングスキルのレベルを判定し、応募要件として求職者に要求されるプログラミングスキルのレベルが含まれる求人情報を格納する求人情報格納手段を検索して、前記求職者のプログラミングスキルのレベルが応募要件に合致する求人情報を選択する求人情報選択ステップと、
前記コンピュータが、前記ソースコード評価ステップにおけるソースコードの評価が行われた後の所定のタイミングで、前記ソースコードを実行した仮想実行環境に記憶された情報の削除及び実行中のプロセスを廃棄することによって、前記仮想実行環境全体を廃棄する仮想実行環境廃棄ステップと、
を有することを特徴とする求人情報の選択方法。
A programming requirement sending step in which a computer connected via a network to a job seeker terminal operated by a job seeker who wants to provide job offer information sends a programming requirement of a program to be evaluated for programming skills;
A source code receiving step in which the computer receives source code of a program created by the job seeker based on the programming requirements from the job seeker terminal;
Construction of a virtual execution environment for constructing an isolated virtual execution environment for executing the source code, in which the computer blocks access to the outside by restricting resources of at least one of a CPU, a storage device, and a network Steps,
A source code execution step in which the computer executes the source code received in the source code reception step in the virtual execution environment constructed in the virtual execution environment construction step;
A source code evaluation step in which the computer evaluates the source code based on a predetermined evaluation rule from the execution result of the source code in the source code execution step;
Job search information in which the computer determines the level of programming skill of the job seeker using the evaluation of the source code in the source code evaluation step, and stores job offer information including the level of programming skill required of the job seeker as application requirements A job information selection step of searching storage means and selecting job information whose level of programming skill of the job applicant matches the application requirements;
The computer deletes information stored in the virtual execution environment that executed the source code and discards the process being executed at a predetermined timing after the source code is evaluated in the source code evaluation step. A virtual execution environment discarding step for discarding the entire virtual execution environment,
A method for selecting job information, characterized by comprising:
JP2014016248A 2014-01-31 2014-01-31 Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method Active JP5649148B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014016248A JP5649148B1 (en) 2014-01-31 2014-01-31 Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014016248A JP5649148B1 (en) 2014-01-31 2014-01-31 Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014180532A Division JP2015146176A (en) 2014-09-04 2014-09-04 Programming skill evaluation apparatus, programming skill evaluation method, recruiting information selection apparatus, and recruiting information selection method

Publications (2)

Publication Number Publication Date
JP5649148B1 true JP5649148B1 (en) 2015-01-07
JP2015143890A JP2015143890A (en) 2015-08-06

Family

ID=52344816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014016248A Active JP5649148B1 (en) 2014-01-31 2014-01-31 Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method

Country Status (1)

Country Link
JP (1) JP5649148B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109712044A (en) * 2018-12-29 2019-05-03 华中师范大学 Program assessment method, device and read/write memory medium
JP6671701B1 (en) 2019-07-19 2020-03-25 Eaglys株式会社 Arithmetic device, arithmetic method, arithmetic program, and arithmetic system

Also Published As

Publication number Publication date
JP2015143890A (en) 2015-08-06

Similar Documents

Publication Publication Date Title
US10554736B2 (en) Mobile URL categorization
US10740411B2 (en) Determining repeat website users via browser uniqueness tracking
US9146975B2 (en) Systems and methods for integration of business applications with enterprise content management systems
JP2009015570A (en) System and method for distributing vulnerability information
US20140074547A1 (en) Personal and workforce reputation provenance in applications
JP2011191964A (en) Workflow management method, program and workflow management device
Meis et al. Understanding the privacy goal intervenability
Dang et al. An effective and elastic blockchain-based provenance preserving solution for the open data
JP5649148B1 (en) Programming skill evaluation device, programming skill evaluation method, job offer information selection device, and job offer information selection method
JP2013164724A (en) Information transaction system
EP3188022A2 (en) System monitoring device
Xuan et al. Performance evaluation model for application layer firewalls
JP2015146176A (en) Programming skill evaluation apparatus, programming skill evaluation method, recruiting information selection apparatus, and recruiting information selection method
JP2019036245A (en) Information processing device
JP2019021161A (en) Security design assist system and security design assist method
Hansen et al. A generic data model for implementing right of access requests
US20160314142A1 (en) System for associating related digital assets
Kneuper Integrating data protection into the software life cycle
Pasdar et al. A Blockchain Oracle-Based API Service for Verifying Livestock DNA Fingerprinting
JP5980421B2 (en) Access control apparatus, access control method and program
Kolhar et al. A proposal to detect the double submission of a manuscript sent for review
Polakis et al. Security and privacy measurements in social networks: experiences and lessons learned
JP2020149645A (en) Information cooperation system and information management method
JP6565662B2 (en) Authority management apparatus and program
JP2016157394A (en) Data management system and id management method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140131

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140201

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141106

R150 Certificate of patent or registration of utility model

Ref document number: 5649148

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250